Python爬虫资源汇总 : 书单、网站博客、框架、工具、项目（附资源）

- 必读书单 -

不需要一大堆书单和教程，关于python爬虫，看这8本书就够了。

/

我们已经将以上提及的书单资源进行了打包

在文末领取

/

- 网站博客 -

01

awesome-python-login-model

该项目收集了一些各大网站登陆方式和一些网站的爬虫程序，用于研究和分享各大网站的模拟登陆方式和爬虫程序。

网址：https://awesome-python

02

《Python3网络爬虫开发实战》作者博客

《python3网络爬虫与开发实战》作者，在此博客上面分享一些自己的爬虫案例和心得，内容非常丰富。

网址：https://cuiqingcai.com

03

Scraping.pro

Scraping.pro是一个专业的采集软件测评网站，上面有各种国外比较顶尖的采集软件测评文，比如scrapy、octoparse等

网址：http://www.scraping.com/

04

Kdnuggets

相比scraping.pro，Kdnuggets涵盖范围更广，包括商业分析、大数据、数据挖掘、数据科学等。

网址：https://www.kdnuggets.com/

05

Octoparse

Octoparse是一款功能强大的免费采集软件，它的博客提供的内容比较广，浅显易懂，比较适合初步的网站采集用户。

网址：https://www.octoparse.com

06

Big Data News

Big data news和Kdnuggets类似，涵盖的范围主要是在大数据行业方面，网站采集是其下面的一个子栏目。

网址：https://www.bigdatanews

07

Analytics Vidhya

跟Big data news类似，Analytics Vidhya是一个更专业的数据采集网站，内容涵盖数据科学、机器学习、网站采集等。

网址：https://www.analyticsvidhya

- 爬虫框架 -

01

Scrapy

是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

网址：https://scrapy.org

02

PySpider

pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看.

后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。

网址：https://pyspider

03

Crawley

Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

网址：http://crawley-cloud.com/

04

Portia

Portia是一个开源可视化爬虫工具，可让您在不需要任何编程知识的情况下爬取网站！

网址：https://portia

05

Newspaper

Newspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。

网址：https://newspaper

06

Beautiful Soup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。

它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。

网址：https://BeautifulSoup/bs4/doc/

07

Grab

Grab是一个用于构建Web刮板的Python框架。

您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。

网址：http://grab-spider-user-manual

08

Cola

Cola是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。

项目地址：https://github.com/chineking/cola

- 工具 -

01

4个HTTP代理工具

(1)Fiddler

Fiddler 是 Windows 平台最好用的可视化抓包工具，也是大家最熟知的 HTTP 代理工具。

功能非常强大，除了可以清晰的了解每个请求与响应之外，还可以进行断点设置，修改请求数据、拦截响应内容。

链接：https://www.telerik.com/fiddler

(2)Charles

Charles 是 macOS 平台下最好用的抓包分析工具之一。

同样提供GUI界面，界面简洁，基本功能包括HTTP、HTTPS 请求抓包，支持请求参数的修改，最新的 Charles 4 还支持 HTTP/2。

链接：https://www.charlesproxy.com/

(3)AnyProxy

AnyProxy 是 阿里巴巴开源的 HTTP 抓包工具，基于 NodeJS 实现。

优点是支持二次开发，可自定义请求处理逻辑，如果你会写JS的话，同时需要做一些自定义的处理，那么AnyProxy 是非常适合的。

GitHub地址：https://alibaba/anyproxy

(4)mitmproxy

mitmproxy 是一款基于 Python，支持 SSL 的抓包工具。它是跨平台的，而且提供的是命令行交互模式。

GitHub 地址：https://mitmproxy/

02

python爬虫工具汇总

这是关于python爬虫的工具汇总，只要你能想到的几乎都能在这儿找到。

网址：https://lartpang/spyder_tool

03

httpbin

此网站可以用作爬虫的测试（http和https），会返回爬虫机器的一些信息，也可以做在线测试。

网址：httpbin.org

04

curl to python

此网站可以将curl命令快速转为python的requests请求（其他语言也可以），而curl命令可以通过浏览器开发者工具快速获取。

网址：https://curl.trillworks.com

05

在线转换

有时我们在网页上看到是中文，但查看网页源码时显示的是unicode字符，此时需要在线unicode字符转中文。

网址：https://unicode_chinese/

06

XPath Helper

此工具是chrome的扩展程序，用于辅助分析和调试xpath。

链接：https://xpath-helper/

07

JavaScript Toggle On and Off

此工具为chrome扩展程序，用于检测目标网站哪些元素是通过JS加载的。

网址：https://toggle-on-and-off

08

EditThisCookie

此工具为chrome扩展程序，可对目标网站的cookies进行任意的操作，具体详细的用法可查看上面提供的官方文档。

网址：Getting Started with EditThisCookie

09

Postman

官方推荐使用本地应用程序代替chrome的扩展程序，因此只需在官网下载安装包即可。

Postman是一款web调试和测试的工具，请求参数完全由自己控制，可模拟几乎所有类型的http请求。

网址：Postman

10

代理ip检测

做爬虫时，很多时候需要用到代理ip，此网站可以查看代理是否可用，代理ip的匿名程度，地点等信息。

网址：proxyhttp.net/check

- 项目上手 -

作为一门技术，知晓了方法，想要掌握的秘诀就是训练，那么通过项目来练手就非常重要了。

既然书读百遍奇异自现，那爬虫百遍，相信你也能找到爬虫的通用套路和技巧。

项目源码+视频：

1.Python 100行代码实现彩票系统

2.Python百行代码实现赞系统

3.Python百姓制作查询工具

4.Python百姓生产登录系统

5.操作Python Excel自动开发

6.Python击败了网络数据

7.Python合成女神图

8.Python获得NBA数据

9.从Python获取彩票信息

10.Python获取房天下的数据

11.从Python获取喜马拉雅音频

12.Python获得新奇的数据并对其进行分析。

13.从Python获取阴阳师壁纸

14.Python获取主播小视频

15.Python快速获取斗图表情

16.Python爬中30行拿LOL皮肤

17.Python批量获取王者荣耀皮肤

18.Python双色球系统

19.Python协程详解公开课

20.Python游戏开发公开课

21.Python制作12306查票工具

22.Python抓取百合网数据

23.Python抓取相亲网数据

24.Python自动工资条

25.Python自动化开发-考勤处理

26.Python自动化开发-批量发邮件通知

27.Python自动化开发-微信统计

28.Python自动化开发-制作名片卡

29.Python自动获取海量IP工具

30.Python自动获取酷狗音乐工具

31.Python自动获取小说工具

32.Python自动获取自动获取拉钩招聘信息工具

以上就是“Python爬虫资源汇总 : 书单、网站博客、框架、工具、项目（附资源）”的全部内容，希望对你有所帮助。
​
​关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、Python练习题

检查学习结果。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

最后祝大家天天进步！！

上面这份完整版的Python全套学习资料已经上传至CSDN官方，朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。