Python爬虫拓展篇

Python学到什么程度就可以去找工作?从此问题,为大家普及,也为自己复习爬虫做此贴!
一、确立目标、了解需求
做什么事情都要先确定好目标，才不至于迷失方向。我们就是Python爬虫工程师为职位目标。
在一些国内大型的招聘网上找到相关的职位要求：
仔细看看，我们可以得出以下几点：
1、 python 不是唯一可以做爬虫的，很多语言都可以，尤其是 java,同时掌握它们和拥有相关开发经验是很重要的加分项
2、 大部分的公司都要求爬虫技术有一定的深度和广度，深度就是类似反反爬、加密破解、验证登录等等技术；广度就是分布式、云计算等等，这都是加分项
3、 爬虫，不是抓取到数据就完事了，如果有数据抽取、清洗、消重等方面经验，也是加分项
4、 一般公司都会有自己的爬虫系统，而新进员工除了跟着学习以外最常做的工作就是维护爬虫系统，这点要有了解
5、 最后一个加分项就是前端知识，尤其是常用的 js、ajax、html/xhtml、css 等相关技术为最佳，其中 js 代码的熟悉是很重要的
6、 补充一条，随着手持设备的市场占比越来越高，app 的数据采集、抓包工具的熟练使用会越来越重要

以上内容，不要求全部掌握，但是掌握的越多，那么你的重要性就越高

**二、关于Python面试的四点，你做到就万事大吉了！

• 第一点：Python

因为面试的是Python爬虫岗位，面试官大多数会考察面试者的基础的Python知识，包括但不限于：
0:Python2.x与Python3.x的区别
1:Python的装饰器
2:Python的异步
3:Python的一些常用内置库，比如多线程之类的
4:Python的线程

• 第二点：数据结构与算法

数据结构与算法是对面试者尤其是校招生面试的一个很重要的点，当然小公司不会太在意这些，从目前的招聘情况来看对面试者的数据结构与算法的重视程度与企业的好坏成正比，那些从不问你数据结构的你就要当心他们是否把你当码农用的，当然以上情况不绝对，最终解释权归面试官所有。

• 第三点：Python爬虫

最重要也是最关键的一点当然是你的Python爬虫相关的知识与经验储备，这通常也是面试官考察的重点，包括但不限于：

1: 你遇到过的反爬虫的策略有哪些？
2:你常用的反反爬虫的方案有哪些？
3:你用过多线程和异步吗？除此之外你还用过什么方法来提高爬虫效率？
4:有没有做过增量式抓取？
5:对Python爬虫框架是否有了解？

• 第四点：爬虫相关的项目经验

爬虫重在实践，除了理论知识之外，面试官也会十分注重爬虫相关的项目：
你做过哪些爬虫项目？如果有Github最好
你认为你做的最好的爬虫项目是哪个？其中解决了什么难题？有什么特别之处？