如何优雅地使用Python爬虫，推荐几个优秀的爬虫项目

话不多说，小码主要推荐3类爬虫项目，供大家参考～

一、网站类爬虫项目

1、awesome-spider

地址：GitHub - facert/awesome-spider: 爬虫集合

这是ID为facert的一个知乎工程师开源的，star6000+，内容如下：

按照首字母A-Z分类，几乎涵盖了所有可以爬取的中文网址，从知乎到B站，从抖音到豆瓣，可以说非常全面了！

2.awesome-python-login-model

地址：GitHub - Kr1s77/awesome-python-login-model: 😮python模拟登陆一些大型网站，还有一些简单的爬虫，希望对你们有所帮助❤️，如果喜欢记得给个star哦🌟

该项目收集了各大网站登录方式和部分网站的爬虫程序，用于模拟各种网站登录。登录方式实现包含 selenium 登录、通过抓包直接模拟登录等。也包含一些简单的爬虫，有助于新手研究、编写爬虫。star6000+。

3、weiboSpider

地址：https://github.com/dataabc/weiboSpider

专门针对微博写的，可以连续爬取一个或者多个微博用户数据，并将结果信息撷取文件或者数据库，可以用来分析微博用户、内容分析等。

二、图片类爬虫项目

搜索引擎图片爬虫

地址：GitHub - QianyanTech/Image-Downloader: Download images from Google, Bing, Baidu. 谷歌、百度、必应图片下载.

可以按要求爬取百度、Bing、Google上的图片，而且运行很稳定。操作方便人性化，只需要使用python image_downloader_gui.py调用GUI界面，配置好参数(关键词，路径，爬取数目等)就可以了。

爬取的样本数量也可以配置，一般爬2000张照片只需要3分钟左右。对于一些小型项目积累初始数据是完全够用的，结果命名也很整齐，方便统计整理。

三、视频类爬虫项目

各大视频网站爬虫

地址：https://github.com/iawia002/annie

Annie是一个基于go语言编写的下载器，几乎国内外各大视频网站均可下载，还可以下载其他视频、图片等。

使用方法很简单，annie ［可选参数］http://…  (视频网址)

如：

还有一些其他配置，大家可以自行探索～

Python经验分享

学好 Python 不论是就业数据分析还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

Python学习路线

这里把Python常用的技术点做了整理，有各个领域的知识点汇总，可以按照上面的知识点找对应的学习资源。

学习软件

Python常用的开发软件，会给大家节省很多时间。

学习视频

编程学习一定要多多看视频，书籍和视频结合起来学习才能事半功倍。

100道练习题

实战案例

光学理论是没用的，学习编程切忌纸上谈兵，一定要动手实操，将自己学到的知识运用到实际当中。

最后祝大家天天进步！！

上面这份完整版的Python全套学习资料已经上传至CSDN官方，朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。