我的职业爬虫之道

最新推荐文章于 2024-04-13 00:38:24 发布

痴海

最新推荐文章于 2024-04-13 00:38:24 发布

阅读量329

点赞数

640?wx_fmt=png

阅读文本大概需要 8 分钟。

最近几年随着人工智能和大数据的火爆，Python 这门语言也逐渐进入主流视野。如果说 2014 到 2017 是移动开发的天下，那么现在可以说是人工智能和大数据的时代。编程行业就是如此，技术日新月异，学习上稍有懈怠就会跟不上这个时代。但要记住选择比努力更加重要。

选择比努力重要

在我还在上大学的时候，如果你想当一名程序员，未来以编程为职业，首选的方向就是移动编程，移动编程即 Android 和 iOS 两大手机操作系统。但 iOS 开发需要 mac 系统环境，所以你需要买台 mac 电脑。而一台好点的 mac 电脑都要 1W 以上，这对于大多数人来说成本太高了。

相反的 Android 开发，你一台 2，3K 的电脑就可以进行开发。所以 Android 开发就成了当时超级火爆的方向，火爆的程度就如同当今的人工智能一样。那时候我首选方向也是 Android 开发。最开始学的时候技术还非常的菜，Android 开发环境我硬是折腾了一周的时间。又是看技术书籍，又是跟着视频敲代码。但我总是学了就忘，一点代码都编写不出来。

而那时候的我对于如何学编程又没有什么好的办法，我就用最笨最费时间和精力的办法，即我把看过的技术文或者博客，自己一个字一个字的敲打一遍，这个笨方法我还用了有 3 个月的时间。在认真学了一年之后，自己觉得可以出师找工作之时，才发现移动江湖早已物是人非。

曾经你只要会在手机上写个 hello world 的 app，就可以找到工作。而在 2017 之后你不仅要会 MVC、MVVM 各种模式，还要求看过各种源码。曾经各大公司抢着要移动开发的人才，而如今很多公司早已没有移动开发类的招聘信息。

好不容易学了一年多的移动编程，到了最后才发现对于我这样的初级移动开发者来说，根本就找不到任何的工作机会。我过去一年所有的努力，连一个最基础的岗位都胜任不了，市场根本就没有初级的机会。

这时候时间已经来到我大三下学期，马上面临着毕业。如果我还是继续学移动开发，我即将面临的就是毕业即失业。

很多时候不是大家不够努力，只是大家努力错了方向。就像当初我学移动开发一样，最初选错了方向，到了最后一切都是白费。但还好我及时发现，那时候 Python 慢慢有火起来的苗头，我也及时把握住了机会，马上调整自己的心态重新选择 Python 做为我未来职业发展道路。

我的爬虫之道

Python 这门语言非常好上手，如果你有一点编程基础一周就可以把 Python 用的得心应手。但如果你是零基础，学习一个月也能把 Python 所有的基础知识都掌握。而 Python 最容易就业的方向就是爬虫方向。

为什么说爬虫是 Python 最容易就业的？

一市场需求大

市场对于数据的需求非常的旺盛，除了一些大厂能自己收集数据，其他的公司想要获取一些数据，都是靠爬虫去爬取。

二爬虫易上手

爬虫的技术并不是非常的复杂，你只要有一定的 Python 基础，然后再认真把爬虫的技术学上 3 个月的时间，就可以胜任爬虫的岗位。爬虫这门技术我学习的时间非常的短，也不过就 3 个月的时间。

我也很幸运抓住了这波 Python 的红利，我在学了爬虫技术不过 3 个月的时间里，就在上海找到一份爬虫开发的工作。工资虽然不是非常的高，但至少让我能够在上海立足发展，我也很喜欢爬虫这份工作。

但当一份兴趣成为你的职业的时候，你才会发现原来想要做好是有多么困难。

在我成为职业爬虫师之后，工作上第一份工作就是写个浏览器插件爬虫。

WTF！什么？浏览器插件也可以做爬虫？我当时脑海里第一反应就是懵逼，这叫我怎么做。但这又是老板给我布置的第一个任务，我不可能说我不会做，我只好硬着头去一点点的去摸索。

职业爬虫师或者说职业编程者，学习能力一定是最重要的能力之一。因为工作上会遇到非常多你不熟悉的领域，就比如浏览器插件爬虫。浏览器插件完全是用前端的语言来编程，这就需要你懂得 html、js、css 代码。你说你只会 Python 不会这些？对不起，那你只好走人。但还好爬虫的一些逻辑是通用的，我在借助谷歌摸爬滚打最后也写了出来。

职业爬虫师

职业爬虫师日常的工作肯定是帮公司获取各种各样的数据，维护已有的爬虫代码，让爬虫每天都可以抓取到公司所需的数据。但职业爬虫与平时编写的爬虫有着本质的区别。

平常练习编写的爬虫，抓不到数据，可能你折腾了几个小时就放弃了。但真正工作上，不管你用什么办法，老板最后一定要看到数据。平常编写的爬虫，可能最多就 100 行代码。但职业爬虫程序，一个解析函数里的 xpath 语句就要写上上千行的代码。我就是那个用了一天的时间写了上千行 xpath 语句的人，差点没被 xpath 给写趴下。

平常编写的爬虫被封了就被封了，大不了换个网站爬。但职业爬虫一个账号有可能注册就要几千、几万快，被封了经济损失非常大，可能就是因为这一个账号，你一个月的工资就没有了，还少不了老板一顿大骂。所以老板明确跟你说写这个爬虫，要求是一个永不被封的爬虫，但还要抓到很多数据。我的内心：***

而这些不过是我成为职业爬虫师 3 个月所经历的事。

爬虫技术五花八门，市面上比比皆是，但是真正能做到极致的寥寥无几，特别是能达到商业爬虫级别的几乎没有。

所谓商业级别，短平快地解释就是：随心所欲，想爬谁就爬谁！

现在好多网站都有反爬策略，例如IP限制、访问频次限定、User-Agent验证、数据加密、验证码限制、登录限制等。碰到这些情况，一般的爬虫就会束手无策，黔驴技穷。

回想我最初学习 Python 爬虫到现在，一路上也是经历了许多弯路和误区，下面总结一下我学习 Python 爬虫的几点经验供大家分享（第7条是重点）。