爬虫工程师的 5 种死法

阅读文本大概需要 3 分钟。

当曾经的兴趣变成你的职业时，你对它的爱与恨只会越来越鲜明。我爱爬虫，因为它带领我进入了互联网行业，让我能在上海站稳脚跟。同样我也恨爬虫，爬虫的天花板太低了，后期非常乏力。

今天我就结合自己做爬虫大半年的经验，来给大家盘点下爬虫工程师的 4 种死法。

1. 学习能力不强

爬虫的入门非常的简单，首先你把 Python 基础的语法给学一遍，然后学习下 request、xpath、bs4 等常用的爬虫库。再看篇爬虫入门必看的「xx 行爬取 xx 网站」文章，比如「50行爬取猫眼TOP100」，「56行代码，带你爬取豆瓣影评」。

通过这些简单的网站爬取，让大家快速的掌握整个爬虫流程：分析网站请求、发生请求、解析数据、存储数据。进阶点的你会学些简单的反爬措施，比如添加请求头、添加 ip 代理、建立 cookie 池等，或者学习下 scrapy 框架。随后在用 scrapy 框架写个完整的爬虫项目，然后你就顺利毕业了，可以出去找爬虫工作了。

现在很多培训机构就是按我上面所说的内容，进行爬虫工程师的培训。这样培训出来的人有个非常致命的缺陷，学习能力不强。

每个公司的业务和使用的框架都会有所不同，比如会使用 Kafaka 中间件来发生消息、用 Mongodb 来存储数据、用 Redis 来缓存一些消息、用 Fildder 来抓包等等。你会发现在实际的业务中，你会遇到非常多没学习过的内容。

你会发现以前的技能树完全不够用，这时候如果你的学习能力不强，你在工作上只会越来越吃力，直至某天完全做不出需求，被老板辞掉。

赶不上技术的迭代，卒。

2. 千变万化的验证码

一个爬虫工程师能力强不强，就看他的反反爬能力有多少。爬虫工作最难的地方就是在破解反爬上，而现在主流的反爬手段就是验证码。而且现在的验证码越来越变态，什么样的形式都有。比如常见的汉字点击，再难点就是滑块验证码，最变态就是 12306 的验证码，人工手点还不一定正常。甚至有些网站还玩双重验证，你好容易过了图形验证码，它还再来个短信验证。。。

这该死的验证码，卒。

3. 不懂 js 

如果你说没学过 js，对不起爬虫这条路我劝你早点放弃。

爬虫做的好高手，都是 js 大神。因为一些反爬的逻辑都是写在前端的 js 代码里，所以你如果想在爬虫这条路上走的更远，你一定要学 js。但你光会 js 还不够，因为前端的 js 代码都会被混淆。这时候就还需要你懂的如何破解这些混淆的代码。

不懂 js，卒。

4. 网站改版

好不容易你把网站的请求逻辑给整明白，该破解的 js 代码也破解了，该写的解析函数也写了，爬虫也正常的运行起来了。但没过几天你发现对方的网站改版了！原本所有可以正常运行的代码，全部出错了。。。

「网站改版」爬虫的天敌，无解，卒。

5 活不如摄像头系列，卒

上面说到的 4 个点都是我在实际工作中，真真正正踩过的坑。今天这篇文章先抛个砖，往后针对每个点，我再详细的说说我是如何平稳的活到现在的。

最后欢迎大家在评论区留言，说说在实际的生活中你都碰到过哪些“死法”。

如果你觉得文章还不错，请大家点『好看』分享下。你的肯定是我最大的鼓励和支持。

推荐阅读：

图表类型，你选对了吗？

账号认证那些事

不积跬步，无以至千里