从零开始学python网络爬虫

大家好哈，最近博主在学习Python，特别是网络数据采集（爬虫）。学习期间也碰到了一些问题，在解决问题的同时也大量参看了网上了一些资源，获得了一些经验。所以希望能将学习过程中碰到的问题一并记录下来，同时也跟大家分享一下学习的过程，共同交流提高！


学习Python版本主要基于2.7的版本，Python3.0的没有相应的研究。


（1）首先网络爬虫是什么？

网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

（2）为什么要学习网络爬虫呢？

通过网络爬虫，可以应用到经济数据的分析，电商数据的分析，社交网络的分析，甚至可以爬取到你想看的某些电影，有木有！

（3）如何开始学习python爬虫？ 

学习python爬虫需要做好相应的思想准备，就是你需要不停的学习各种相关的知道。从数据爬取，分析，到数据存储，展现。我应用一个知乎上网友的发帖，同时也是我自己的步骤，与大家共勉！

总结一下，从零开始学python网络爬虫，需要学习以下知识：

（1）python基础知识，包括list，dict数据结构以及re正则表达式

（2）python数据结构库Numpy，Pandas

（3）python 获取网页源代码及分析库requests，beautifulSoap，lxml等

（4）python 渲染js工具selenium库

（5）python 数据库存储 mysql等

（6）python django，flask等web开发框架

（7）python scrapy，pyspider等开发框架

（8）高性能，并发，多线程

（9）代理ip池等

所以说，学习python爬虫，就好像掉入了一个坑，一个不断学习的坑！

一路走来不容易啊，且行切且珍惜！（夜有点晚了，喝杯伊利牛奶，准备睡了，不能再写文章了！）

下面让我们正式进入爬虫之旅吧，一起一步一步攻克这些问题！