scrapy学习资料汇总

学习资料

接触 Scrapy，是因为想爬取一些知乎的数据，最开始的时候搜索了一些相关的资料和别人的实现方式。

Github 上已经有人或多或少的实现了对知乎数据的爬取，我搜索到的有以下几个仓库：

• https://github.com/KeithYue/Zhihu_Spider 实现先通过用户名和密码登陆再爬取数据，代码见 zhihu_spider.py。

• https://github.com/immzz/zhihu-scrapy 使用 selenium 下载和执行 javascript 代码。

• https://github.com/tangerinewhite32/zhihu-stat-py

• https://github.com/Zcc/zhihu 主要是爬指定话题的topanswers，还有用户个人资料，添加了登录代码。

• https://github.com/pelick/VerticleSearchEngine 基于爬取的学术资源，提供搜索、推荐、可视化、分享四块。使用了 Scrapy、MongoDB、Apache Lucene/Solr、Apache Tika等技术。

• https://github.com/geekan/scrapy-examples scrapy的一些例子，包括获取豆瓣数据、linkedin、腾讯招聘数据等例子。

• https://github.com/owengbs/deeplearning 实现分页获取话题。

• https://github.com/gnemoug/distribute_crawler 使用scrapy、redis、mongodb、graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现

• https://github.com/weizetao/spider-roach 一个分布式定向抓取集群的简单实现。

其他资料：

• http://www.52ml.net/tags/Scrapy 收集了很多关于 Scrapy 的文章，推荐阅读

• 用Python Requests抓取知乎用户信息

• 使用scrapy框架爬取自己的博文

• Scrapy 深入一点点

• 使用python，scrapy写（定制）爬虫的经验，资料，杂。

• Scrapy 轻松定制网络爬虫

• 在scrapy中怎么让Spider自动去抓取豆瓣小组页面

scrapy 和 javascript 交互例子：

• 用scrapy框架爬取js交互式表格数据

• scrapy + selenium 解析javascript 实例

来源：

http://segmentfault.com/blog/javachen/1190000000583419

转载于:https://blog.51cto.com/pcliuyang/1575428