python学到什么程度可以写爬虫-小白python学到什么程度可以学习网络爬虫？ ？...

通常掌握简单的Python语法基础，对现有的网页组成，比如HTML、css、javascript等网页源码有一定的了解，就可以开始学爬虫了。

Python关于爬虫的部分，其实是比较好学的，可以大致分为以下几个部分：

1.Python 包实现爬虫

Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议从requests+Xpath 开始，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。

2.爬虫数据存储

爬完数据自然需要选用合适的存储媒介来存储爬取到的结果，一般可以直接用文档形式存在本地，也可以存入数据库中。如果数据有缺失错误，可以用pandas 包来做数据的预处理。

3.Scrapy搭建工程化爬虫

想成为一名爬虫工程师，那么你必须要会用scrapy。

4.应对大规模数据存储与提取的数据库知识

主要是数据如何入库、如何进行提取。推荐MongoDB 去存储一些非结构化数据，例如评论文本和图片链接等。

5.掌握各种应对网站反爬措施的技巧

大部分网站已经添加了各种反爬措施，非浏览器检测、封 IP、验证码、封账号、字体反爬等，需要掌握相应的应对措施，如访问频率控制、使用代理IP池、抓包、验证码的OCR处理等。

6.分布式爬虫实现大规模并发采集

分布式爬虫其实就是利用多线程的原理，通过Scrapy + MongoDB + Redis 三种工具让多个爬虫同时工作，其中Scrapy用于基本页面爬取，MongoDB用于存储爬取的数据，Redis则用来存储要爬取的网页队列。