Python爬虫实战教程
分享
扫一扫
文章平均质量分 87
爬虫各种实战项目，使得快速上手爬虫，能对各种自动化操作得心应手。例如twitter爬取、CSDN自动点赞与评论、自动收取蚂蚁森林能量等。只可用于个人学习，不可用于商业用途。
优惠券已抵扣
余额抵扣
还需支付
¥19.90
¥99.00
购买须知?
本专栏为图文内容，最终完结不会低于15篇文章。
订阅专栏，享有专栏所有文章阅读权限。
本专栏为虚拟商品，基于网络商品和虚拟商品的性质和特征，专栏一经购买无正当理由不予退款，不支持升级，敬请谅解。
herosunly
985院校硕士毕业，现担任算法工程师一职，获得CSDN博客之星第一名，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得多项AI顶级比赛的Top名次，其中包括阿里云天池比赛第一名，科大讯飞分类挑战赛第一名，CCF信息分类比赛比赛第二名，开放原子分类比赛二等奖，CCF家族分类第四名，科大讯飞阿尔茨海默症预测挑战赛第四名，科大讯飞事件抽取挑战赛第七名。在技术创新领域拥有多项授权发明。曾辅导多位非科班出身的同学成功进入算法行业就业。希望和大家一起成长进步。
展开
-
使用cookies登录网站进行数据爬取的解决方案
本文主要介绍了保存网站cookies的解决方案，希望对学习爬虫的同学们有所帮助。文章目录1. 背景介绍2. 解决方案原创 2024-01-09 08:15:00 · 29891 阅读 · 11 评论
-
Python上传和下载阿里云盘的实战代码
本文主要介绍了Python上传和下载阿里云盘的实战代码，希望对在不同环境下进行阿里云盘文件的上传和下载的同学们有所帮助。文章目录1. 前言2. 安装Python库3. 实战代码 3.1 上传文件夹 3.2 下载文件夹 3.3 下载文件原创 2023-10-09 07:30:00 · 42022 阅读 · 58 评论 -
如何自动识别爬虫网页的编码
最近好朋友接到一项新任务，就是要爬取不同的数据源，并从中提取中重要信息。这项任务刚开始不久，就遇到了一个老大难问题，即部分网站的编码是无法确定的，这就导致无法对数据进行解析。也就谈不上后续的信息提取了。由于时间紧，任务重，在他的恳求之下，最终决定拿出自己的爬虫神技来助他一臂之力。文章目录1. 搭建Python环境2. 安装库3. 实战案例...原创 2022-08-06 07:00:00 · 21638 阅读 · 6 评论 -
使用爬虫下载会议视频
1. 使用浏览器获得下载链接等信息1.1 得到下载链接2. 使用Aria2下载(强烈推荐)2.1 操作系统为Windows2.1.1 安装2.2.2 使用2.2 操作系统为Linux原创 2022-04-25 13:31:43 · 68078 阅读 · 6 评论 -
Python下载百度网盘文件的实战代码
小伙伴将模型和数据保存在了百度云盘上，我需要将其下载到Linux环境下进行复现，如果能够直接使用Python将其下载到Linux环境下，就省去下载到Windows环境下，再拷贝至Linux环境的繁琐步骤了。注：经实验，该方法在Windows环境下也可以正确运行。文章目录1. 安装Python库2. 认证3. 下载 3.1 配置 3.2 查看并下载4. 上传原创 2022-03-10 08:30:00 · 28982 阅读 · 8 评论 -
进度条实时显示request下载文件的解决方案
本文主要介绍了进度条实时显示request下载文件的解决方案，希望对新手有所帮助。文章目录1. 背景介绍2. 解决方案 2.1 下载文件解决方案 2.2 直接解析文件 2.2.1 解析csv文件 2.2.2 解析压缩包文件原创 2023-02-09 07:00:00 · 11090 阅读 · 4 评论 -
Python自动连接网络(自动登录网络准入系统)
每天打开电脑第一件事就是登录网络准入系统，虽然是可以记住密码，点总是需要人工点击操作，就显得非常麻烦。多一事不如少一件事，少一事不如躺平不做事。那么如何使用Python自动连接网络(自动登录网络准入系统)呢？ 最常用的是使用selenium框架，但使用selenium自动化网页操作时，会有一定的概率会被网站后台识别到。比如极客时间的网站就不能够使用selenium进行操作。本文将使用另外一种自动化工具（亲测可用），希望对大家有所帮助。......原创 2022-08-09 07:00:00 · 18689 阅读 · 2 评论 -
使用爬虫下载x书视频
1. 使用浏览器获得下载链接等信息1.1 得到下载链接1.2 得到完整信息2. 使用Linux环境进行下载2.1 使用Shell下载2.2 使用Aria2下载(强烈推荐)3. 使用Windows进行下载4. 使用Python进行下载原创 2022-04-19 09:18:12 · 7063 阅读 · 2 评论 -
下载URL包含Signature和OSSAccessKeyId的实战代码
今天给大家带来的文章是：下载URL包含Signature和OSSAccessKeyId的实战代码，希望对同学们有所帮助。文章目录1. 前言2. 解决方案 2.1 操作步骤 2.2 实战代码原创 2023-10-15 08:15:00 · 82263 阅读 · 27 评论 -
使用chrome爬取URL数据的实战代码
本文主要介绍了使用chrome爬取URL数据的实战代码，希望能对使用chrome的同学们有所帮助。文章目录1. 问题描述2. 解决方案原创 2024-01-27 20:47:32 · 19556 阅读 · 29 评论 -
查看网页最后修改时间方法以及原理简介
1. Javascript代码1.1 方法介绍1.2 原理简介2. 谷歌插件2.1 方法介绍3. google.com3.1 方法介绍3.2 原理简介4. 搜索网页源码原创 2022-07-04 11:27:46 · 41618 阅读 · 4 评论 -
如何使用lxml判断网站公告是否更新
1. 搭建环境1.1 安装Python库1.2 下载ChromeDriver1.2.1 查看Chrome版本1.2.2 下载适配的ChromeDriver2. 思路分析与代码讲解2.1 常用的XPath语法2.2 思路分析2.2.1 ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:833)2.2.2 整体思路讲解2.3 完整代码3. 使用计划任务修改代码3.1 修改代码原创 2022-07-01 14:26:18 · 29816 阅读 · 3 评论 -
使用requests post请求爬取申万一级行业指数行情
最近新收了个金融专业的徒弟，明年本科毕业，所以需要提前积累一些数据。由于个股和宽基指数研究的相对比较多，所以她另辟蹊径，切换到行业指数上的研究。为了帮助更多的同学，所以将本文分享给大家。文章目录1. 基础知识简介2. 思路分析3. 完整代码...原创 2022-08-02 07:00:00 · 28070 阅读 · 2 评论 -
利用requests库批量下载PDF文件
文章目录1. 前言2. 批量下载大法好2.1 挖掘思路2.2 核心知识点2.3 汇总代码1. 前言 学弟最近在复习(预习)微积分，但是苦于没有较好的资料学习，所以向我发出求助。我向他推荐了台湾清华大学高淑蓉老师的微积分课程，也顺便介绍了更高效的学习方法。简单来说，就是首先下载讲义和逐字笔记，然后先进行阅读，其中将重难点章节挑选出来，再认真观看对应章节的视频。错误的学习方法是走马观花，看剧一般的从头到尾刷完每一节视频，尤其是在已经学过某门课的基础上。 那么问题来了，由于笔记文件很多，如何批量下载笔原创 2022-03-04 17:20:00 · 43236 阅读 · 2 评论 -
利用requests库下载bilibili字幕文件
文章目录1. 前言2. 程序下载大法好2.1 挖掘思路2.2 核心知识点2.3 汇总代码1. 前言 之前的博客介绍了使用工具下载B站视频，但美中不足的是无法下载字幕。为了提高效率，将下载字幕的工作用程序自动化处理。2. 程序下载大法好2.1 挖掘思路 在谷歌浏览器中按下F12，打开谷歌开发者工具。搜索subtitle，则会得到一个json文件，如下图所示： 在网页中空白位置点击查看网页源代码，然后通过搜索(Ctrl+f)查找subtitle，则会发现在subtitle_url中包含了对应原创 2022-03-08 11:18:47 · 46579 阅读 · 3 评论 -
Linux下载OneDrive分享文件
朋友使用OneDrive分享数据文件，但由于个人的Windows环境下载网速比较慢，所以使用Linux系统下载数据文件。需要解决方案的朋友阅读第一部分即可，第二部分仅仅是对踩坑方案进行汇总，避免后续在相同的地方踩坑。1. 解决方案1.1 使用浏览器获得下载链接1.1.1 使用Chrome获得下载链接1.1.2 使用FireFox获得下载链接1.2 下载文件2. 各种错误方法总结2.1 403 Forbidden2.2 下载完为HTML文件2.3 使用迅雷下载......原创 2022-02-23 14:57:00 · 6836 阅读 · 10 评论 -
通过爬虫使用百度翻译
在NLP任务中，通过数据增强（例如EDA、回译等）的方式增加训练集是一个非常常用的trick。其中回译就需要用到翻译系统。但由于构建翻译系统需要大规模的语料和算力，所以不如直接使用现有的翻译系统。除此之外，还有很多的场景均需要翻译，所以为了满足大家的需求，特花时间来给大家写一篇通过爬虫使用百度翻译的博客。 这次的天选之子就是百度翻译，但事先说明下该脚本只是为了学习，请勿滥用、商用，否则后果自负。 虽然在网上有很多类似的博客，但绝大多数讲的过粗，不利于新手的学习。所以就给大家准备一篇极为详细的博客原创 2021-01-24 00:08:59 · 13701 阅读 · 24 评论 -
自动化收取蚂蚁森林能量(无须连接电脑)
1. 作为蚂蚁森林的重度用户，，每天7点多起来偷能量是一件很烦心但是却一直在坚持的事情。那有没有更好的方式来解决呢？ 昨天上CSDN官网，首页推送了一篇博客名为《30行代码实现蚂蚁森林自动偷能量》，感觉CSDN真的是懂我。博客的确非常好，但美中不足的是手机需要连接电脑。那能否找到一种不连接电脑的方法来自动收取能量呢？2....原创 2021-02-09 15:12:33 · 17094 阅读 · 28 评论 -
通过Python自动化玩腾讯微证券领长牛
本人是腾讯证券的忠实用户，所以时不时也会参加一下他们的活动。最近他们新推出了一个领长牛的活动。界面如下图所示，操作流程就是疯狂点击图中的牛牛来积攒右边钱袋的能量，如果集满之后点击钱袋就可以领取奖励。如果人工来进行重复性的操作，会非常麻烦而且耗费时间。那能否使用自动化的方法来做呢？为了解决此问题，特意进行研究，并将研究结果写成博客，供大家参考学习。但事先说明下，该脚本只是为了学习，虽然奖励很小，主要也就图个乐，但也请勿滥用，否则后果自负。 文章目录1. 搭建环境1.1 安装Uiautomator2原创 2021-02-10 14:05:39 · 11889 阅读 · 6 评论 -
文件下载神器之aria2(aria2c)
本文介绍核心内容为文件下载神器之aria2(aria2c)，希望对有下载文件需求的同学们有所帮助。文章目录1. 业务诉求2. 初次筛选3. 鹿死谁手4. aria2大获全胜5. 欢迎留言原创 2021-04-22 22:24:25 · 20376 阅读 · 29 评论 -
通过爬虫实现博客之星投票统计
最近在参加2020年博客之星的评选活动，第一次参加这样的活动，很开心，但对于我来说，更想了解的是哪些大佬给我投了票，尤其是那些连续多日给我投票的大佬，非常感谢你们对我的支持，可是到底哪些大佬连续给我投了票呢？那就用爬虫来实现这个需求吧。文章目录1. 问题难点2. 原理和代码实现1. 问题难点 如下图所示，初始页面只能显示一小部分的内容，怎么才能展示出全部内容呢？提前剧透一下，使用seleinum的driver.execute_script(“window.scrollTo(0, document原创 2021-01-20 22:51:12 · 10902 阅读 · 15 评论 -
通过爬虫实现CSDN自动点赞
最近在CSDN上认识了个大佬，大佬的文章写的非常精彩，文章由浅入深，很值得深入研究。为了表示自己的钦佩之情，就想把大佬的文章挨个点个赞。可是一个个点赞太累，不如用爬虫来个自动化实现。虽然在CSDN上有不少自动点赞的文章，但几乎都只能对单篇文章进行点赞，并没有实现对博主多篇文章的自动点赞。所以决定亲自操刀实现，然后将其成果分享给大家。 首先说明下，本文代码采用的操作系统环境是Windows(7和10都亲测可用)，浏览器使用的是Chrome(如果用Firefox，把下文中提到的ChromeDriver替原创 2021-01-18 18:06:59 · 11977 阅读 · 26 评论 -
爬虫的两大重要文件：robots.txt和sitemap.xml
文章目录1. 爬虫和搜索引擎的基本原理2. robots.txt3. sitemap.xml原创 2022-05-19 21:42:24 · 19839 阅读 · 10 评论