如何优雅地使用Python爬虫,推荐几个优秀的爬虫项目

话不多说,小码主要推荐3类爬虫项目,供大家参考~

一、网站类爬虫项目

1、awesome-spider

地址:GitHub - facert/awesome-spider: 爬虫集合

这是ID为facert的一个知乎工程师开源的,star6000+,内容如下:

按照首字母A-Z分类,几乎涵盖了所有可以爬取的中文网址,从知乎到B站,从抖音到豆瓣,可以说非常全面了!

2.awesome-python-login-model

地址:GitHub - Kr1s77/awesome-python-login-model: 😮python模拟登陆一些大型网站,还有一些简单的爬虫,希望对你们有所帮助❤️,如果喜欢记得给个star哦🌟

该项目收集了各大网站登录方式和部分网站的爬虫程序,用于模拟各种网站登录。登录方式实现包含 selenium 登录、通过抓包直接模拟登录等。也包含一些简单的爬虫,有助于新手研究、编写爬虫。star6000+。

3、weiboSpider

地址:https://github.com/dataabc/weiboSpider

专门针对微博写的,可以连续爬取一个或者多个微博用户数据,并将结果信息撷取文件或者数据库,可以用来分析微博用户、内容分析等。

二、图片类爬虫项目

搜索引擎图片爬虫

地址:GitHub - QianyanTech/Image-Downloader: Download images from Google, Bing, Baidu. 谷歌、百度、必应图片下载.

可以按要求爬取百度、Bing、Google上的图片,而且运行很稳定。操作方便人性化,只需要使用python image_downloader_gui.py调用GUI界面,配置好参数(关键词,路径,爬取数目等)就可以了。

爬取的样本数量也可以配置,一般爬2000张照片只需要3分钟左右。对于一些小型项目积累初始数据是完全够用的,结果命名也很整齐,方便统计整理。

三、视频类爬虫项目

各大视频网站爬虫

地址:https://github.com/iawia002/annie

Annie是一个基于go语言编写的下载器,几乎国内外各大视频网站均可下载,还可以下载其他视频、图片等。

使用方法很简单,annie [可选参数]http://…  (视频网址)

如:

还有一些其他配置,大家可以自行探索~

Python经验分享

学好 Python 不论是就业数据分析还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

Python学习路线

这里把Python常用的技术点做了整理,有各个领域的知识点汇总,可以按照上面的知识点找对应的学习资源。
在这里插入图片描述

学习软件

Python常用的开发软件,会给大家节省很多时间。
在这里插入图片描述

学习视频

编程学习一定要多多看视频,书籍和视频结合起来学习才能事半功倍。
在这里插入图片描述

100道练习题

在这里插入图片描述

实战案例

光学理论是没用的,学习编程切忌纸上谈兵,一定要动手实操,将自己学到的知识运用到实际当中。
在这里插入图片描述
最后祝大家天天进步!!

上面这份完整版的Python全套学习资料已经上传至CSDN官方,朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员二飞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值