▪ 负责各类大型网站的爬虫开发,解决高并发请求、海量数据存储等问题;
▪ 深刻理解爬虫数据的价值,竭尽全力追求数据的完整性、及时性;
▪ 主动思考现有爬虫框架的迭代方向,为提高开发效率及质量努力;
▪ 学习探索爬虫新技术新方向,如手机群控、Android 逆向、拟人化爬取等;
【职位要求】:
▪ 喜欢钻研技术,喜欢阅读优秀开源项目源码,热衷于解决各类技术问题;
▪ 精通 Python,熟练使用 Requests、Scrapy 进行爬虫开发;
▪ 编程基础扎实,熟练使用多进程、多线程、协程,熟悉异步编程;
▪ 熟练掌握 Linux 平台开发,能独立安装、配置、搭建开发环境;
▪ 熟悉 Web 开发技术、尤其是前端技术,有实际 Web 开发经验者优先;
▪ 熟悉常用数据库,包括 MySQL 、Redis、MongoDB 等;
▪ 熟练使用各类抓包工具,如 Charles、Fiddler、Wireshark、Mitmproxy 等;
▪ 可以应对 IP 封禁、参数加密、验证码、字体反爬、人机检测、账号封禁等反爬措施;
▪ 有手机群控或 Android 逆向经验者优先。
【成长机会】:
▪ 进入大数据前沿领域,直面全球化的客户;
▪ 可接触多种多样的数据对抗场景,多维度锤炼个人的技术水平;
▪ 学习到PB级数据的处理方案;
▪ 深入数据的实际使用场景,提升个人对于数据价值的敏锐度。
【公司福利】:
▪ 有竞争力的薪酬:工资、高额五险一金、商业保险、季度奖金包、年终奖、节假日福利、生日礼物等。既有情怀,又有钱途;
▪ 合理的工作时间:我们有弹性工作时间制度,并追求使用技术去高效解决问题,不提倡加班;
▪ 团队活动:YiMBA 系列课程、每周的篮球和羽毛球运动,每周分享会,每月聚餐、生日会等。我们是一个有凝聚力的团队;
▪ 年度体检:豪华体检,健康强壮的身体是工作的基础;
▪ 零食饮料:不间断的供应丰富优质的零食饮料;
▪ 年度旅游:前脚去巴厘岛后脚去日本韩国,随着团队的壮大,以后能去的地方更丰富多彩;
▪ 舒适的工作环境:我们有一个漂亮的办公室,开放式的设计和十分开阔壮观的窗景