前言
你的日常中是否需要数据?你是否对爬虫感兴趣?你还在为没有爬虫案例发愁?2021年3月份开始写第一个爬虫至今写了22个爬虫项目,无套路,不虚假,附上源码,全部给你
所有爬虫均是2021年3月份开始写的,可能有许多不足之处,大家多多包涵,对于刚刚入门爬虫 想要拿项目练手的你来说可能会起到一些帮助作用,每一个爬虫我都写个一篇文章教程 同时附上源码
APP类
利用fiddler+mitudump+appium+python的方式对APP类数据进行爬取
抖音视频
利用fiddler抓包 和mitmdump+python结合,实现对抖音小姐姐的所有视频,视频无水印视频爬取
抖音评论
利用fiddler+mitmdump+appium实现对抖音视频的评论数据进行半自动化爬取
简单的半自动化的爬虫抖音评论,你还不会吗?blog.csdn.net图标
电商类
以下爬虫属于电商平台的爬虫案例,六大主流电商平台,六个爬虫项目,11个python文件,商品信息爬取以及评论数据爬取
淘宝
对淘宝商品数据的爬取,利用selenium模拟登录,最新测试可用,其中还包含对商品评论的爬取
天猫
对天猫平台商品数据爬取,最新测试可用,其中还有对商品评论的爬取
京东
对京东商品信息数据爬取,直接输入商品名称 输入起始和结束页数,对京东商品信息全部爬取,最简单的爬虫项目,其中也包含对商品评论的爬取,以及对商品评论的词云展示
唯品会
可能你对上面的三大电商平台最熟悉,不太了解唯品会,这个项目也是对唯品会商品数据进行爬取,还有商品评论数据,直接运行文件输入商品即可进行爬取
苏宁易购
对商品信息的爬取,输入商品即可运行,评论数据
中国亚马逊
对亚马逊平台的商品数据抓取
社交类
六大社交类平台,六个爬虫项目,14个python文件,对社交类数据进行爬取
哔哩哔哩
对哔哩哔哩UP主 所有视频数据,所有弹幕,所有评价 进行爬取,并且有对UP主所有视频实现自动下载到本地
QQ好友
对QQ好友个人数据进行爬取(勿作恶)
QQ群
对QQ群成员信息,进行数据爬取(勿作恶)
微博
对微博博主,所有视频、所有微博数据进行爬取下载,并且包含博文评论数据的爬取
知乎
对知乎用户的所有文章进行保存爬取
微信公众号
利用 fidder+request 对公众号所有的文章进行爬取保存到本地,两分钟爬取900篇文章
豆瓣
对豆瓣影评进行爬取
招聘类
对一些招聘网站 照片信息进行爬取,三个爬取项目,4个python文件
智联招聘
对智联招聘平台进行全国所有招聘信息的爬取
前程无忧(51job)
在前程无忧上对全国招聘信息爬取,输入职位名称,起始页数和结束页数 运行
拉勾网
在拉钩网上对所有城市的招聘信息爬取
房源类
链家
对链家新房数据所有城市近3w数据爬取保存
58租房
在58同城上对租房信息进行爬取
其他
简历模板
对站长之家中的简历模板实现全站爬取
4K壁纸
对4K壁纸网中美女图片进行全站爬取
全部源码获取方式
1.转发分享本篇文章
2.进入公众号“阿虚学Python”