爬虫 第二篇：爬虫岗位分析

由于简历里写了三年爬虫经验，所以会收到很多公司的面试邀请。
大概各种类型的爬虫需求都接触了一遍，总结一下，看看目前爬虫岗位的需求状况。

• 为什么选择爬虫岗位
  1.待遇高
  2.兴趣
  3.做大数据过渡

爬虫岗位是一个独特领域的细分，目前情况主要集中在北京、上海、深圳、广州、杭州

以上5个城市的岗位占全国爬虫岗位的80%

根据需要采集的数据和应用场景，我把爬虫岗位做了分类

1. 搜索引擎爬虫
   特点：需要大规模采集互联网网页，重点在任务管理，调度，强调采集效率，对页面解析要求不高。
   没有遇到过搜索引擎公司社招此类岗位，由此猜测目前搜索引擎的爬虫技术已经成熟，且岗位很少。

2.互联网金融类

特点：需要登录授权账户采集账户信息，如手机账单、邮箱信息、银行卡信息等。此类爬虫岗位对数据采集过程的要求高，需要解决模拟登陆、验证码识别，提交表单，点击跳转问题。

对技术要求较高，待遇开的也比较高。

3.电商类

特点;围绕几大电商平台采集信息，或者机竞争对手的定价信息，遇到问题主要是电商平台的防采集策略，一般需要投入较大的资源。

电商信息的采集需要占爬虫岗位的很大比例，但一般需要建设团队，时刻应对防采集策略的变动。

4.新闻阅读类

入门级爬虫岗位，只是采集网页信息，熟悉爬虫解析即可胜任。
此类岗位待遇不高，有时需要具备其他技能：数据仓库、文本挖掘。

5.其他类

总结：爬虫岗位需求少，流动性差，没有持续发展空间，部分公司会选择采集项目完成之后撤销爬虫岗位。对于希望做爬虫的朋友，最好具备其他技能，如大数据、数据挖掘。
或者java web 开发。

后期我会写爬虫采集爬虫及大数据招聘岗位，发布分析结果。

爬虫大数据数据挖掘交流 qq群：177655321