爬虫系列的总结

 

时光荏苒，四个月时间如流沙般从手心中流逝。这四个月自己算是收获颇多。因为在张哥的影响下，自己渐渐喜欢上写作。自己将所学的爬虫知识、学习心得以及如何学习分享出来。本文是爬虫系列文章的总结，主要是梳理下爬虫系列的文章。

 

如果你因爬虫而对 Python 感兴趣，想学习 Python 爬虫相关技术。你可以先阅读《学爬虫之道》，了解该如何系统地学习爬虫。同时，本爬虫系列是以理论和实战相结合的形式来分享爬虫技术。

 

我在《学爬虫之道》一文说道，学爬虫一共可分为四个阶段。

第一阶段是夯实，也就是打基础阶段。所以我们需要从最基础的库学起，分别是 Python 网络标准库《urilib》、《正则表达式》库、内容提取库《Beautiful Soup》，最后的《爬取当当网所有 Python 书籍》吹响了我们进击 “爬虫进阶”的号角。

 

第二阶段是进阶。进阶阶段主要是不断强化我们的羽翼。我们需要修炼以下《Python 多进程与多线程》、《Requests 库》、《“干将莫邪” —— Xpath 与 lxml 库》技能。最后的实战篇《爬取电影天堂的最新电影》是用来检验我们所掌握知识是否牢固。

 

第三阶段是突破。到了这一层次，我们追求的是厚积薄发。因为，需要学习能够爬取系列站点的 Scrapy 框架。Scrapy 知识点较多，我将其拆分成为五个部分进行讲解。分别是《学会运用爬虫框架 Scrapy (一)》、《学会运用爬虫框架 Scrapy (二)》、《学会运用爬虫框架 Scrapy (三)》、《学会运用爬虫框架 Scrapy (四) —— 高效下载图片》、《学会运用爬虫框架 Scrapy (五) —— 部署爬虫》。除此之外，还需领悟《爬虫与反爬虫的博弈》。

 

第四阶段是为我所用。简而言之，就是数据分析。我们借用 NumPy、Pandas、 Matplotlib 三个工具将杂乱无章的数据进行整理并得出相对应的结论。

 

 

 

 

 

 

作者：猴哥，公众号：极客猴。爱好读书，喜欢钻研技术，梦想成为文艺青年的 boy。

 

 

 

 

 

 

 

极客猴

 

 

 

分享干货的公众号

 

 

 

 

 

 

长按指纹 > 识别图中二维码 > 添加关注