职位描述
1.定向数据采集和爬取
2.设计爬虫策略和防屏蔽规则,提升数据抓取的效率和质量
3.爬虫系统的开发与维护
任职要求
1、本科及以上学历,计算机相关专业,3年以上爬虫开发工作经验;
2、熟悉html/css/xpath/ajax/xml等技术,熟悉HTTP传输协议,精通网页抓取原理和整合技术,熟悉正则表达式;
3、精通Python语言,有丰富的反爬经验;
4、熟悉MySQL、MongoDB、Redis;
5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;
6、有企业信息数据采集经验者优先。
岗位职责
1、参与分布式爬虫和数据采集系统的架构设计和开发;
2、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等,并持续优化平台,以便满足各种爬取业务需求,;
3、负责设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量,如分析预测、质量判断、封禁与反封禁研究等;
4、专注于垂直领域数据爬取,进行多平台信息的抓取和分析;
5、研究优化算法,提升爬虫系统的稳定性、可扩展性,跟进技术热点,及时更新新的爬虫功能,持续优化分布式爬虫策略。
专业要求
1、本科及以上学历,计算机等相关专业,3年以上爬虫相关工作经验,有电商平台如亚马逊、速卖通经验者优先;
2、精通自动采集和反自动采集技术,精通http底层协议;
3、精通深度抓取、动态网页技术抓取、浏览器模拟抓取技术等,从结构化的和非结构化的数据中获取信息;
4、精通分布式系统、多线程、云服务,精通一种以上开源框架,熟悉scrapy、 requests等其中一个或多个自动采集框架以及原理,有开发自动采集框架经验;
5、具备良好的沟通表达能力、学习能力和责任心。
【辣条看了这个招聘表示压力山大,要学的东西还是很多的,有些粉丝问我怎么学爬虫,其实网上教程很多,但是不系统比较散,想自学还是困难的,最好的办法就是面向招聘岗位职责学习】
就业前景
发展前景怎么样
2020年爬虫工程师招聘职位量1842个,比2019年下降了35%。数据由各地招聘网站统计而来,仅检索职位名称,可能因抓取系统稳定性等因素而致使数据偏离客观实情,仅供参考。
招聘需求量地区排名(全国)
爬虫工程师在全国哪里需求量最高?爬虫工程师去深圳工作好还是北京好?深圳爬虫工程师招聘需求量最高,占20.7%,在全国中排名第1。其次是北京占18.6%,上海占18.5%,广州占10.0%。统计依赖于各平台发布的公开数据,系统稳定性会影响客观性,仅供参考。
【一线城市加起来超过百分之六十,剩下的基本属于二线城市了,我老家三四线去了咋办】
工资收入
爬虫工程师工资收入一般是多少钱一个月?平均工资 ¥ 15.8K/月,最多人拿 20K-30K,2021年较2020年下降了12%。
按学历统计
爬虫工程师工资按学历统计,大专工资¥11.4K,本科工资¥17.4K,硕士工资¥20.8K
历年工资变化趋势
爬虫工程师今年工资怎么样?2021年爬虫工程师平均工资 ¥15.8K,2021年工资不及2020年,较2020年下降了12%。2020年工资 ¥18.0K,2019年工资 ¥18.5K,2018年工资 ¥18.9K,2017年工资 ¥17.6K,2016年工资 ¥15.4K,2015年工资 ¥15.3K,2014年工资 ¥16.3K。数据统计依赖于各大平台发布的公开数据,系统稳定性会影响客观性,仅供参考。
【大专学历也是可以的,学历是敲门砖,最终决定你薪资的是你的能力以及职场职商】
感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的:
① 2000多本Python电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!