一名在读学生

爬虫

【异步爬虫】学习笔记

文章目录一、结果及源码展示二、项目准备1、第三方库2、知识点概况3、推荐视频三、数据获取四、数据库交互五、绘制前端页面六、Web程序开发七、未来可期一、结果及源码展示自己做的这个可视化比较朴素，简单分为七个部分：全国累计趋势（包括累计确诊、累计治愈、累计死亡）全国每日确诊、治愈情况中间比较明显的四个数据（累计确诊、每日新增、累计治愈、累计死亡）中国疫情地图（颜色深度表示每日新增情况）省份或直辖市每日新增数量前五江苏省各城市现有的确诊人数源码如下：https://github.com/

本文仅用于交流学习，不得用于商业行为

【python单线程、多线程、协程】爬虫案例比较

【python爬虫】PyQuery实战：爬取P站镜像每日榜单

爬取中国天气网城市及其编号

利用python爬虫，爬取天气预报的数据，并进行可视化

王者荣耀六周年来临，有很多“丰厚”的活动及奖励，但有一个非常小的活动可能大家没有注意到，全英雄的同人Q版头像，也发布在游戏中。对于这么可爱的头像，我自然不会放过啦，但在游戏中一点一点地保存，太吃力了。于是，就想到了爬虫

Python爬取王者荣耀全皮肤台词语音

对于文章，标题是其浓缩的精华；那么对于视频，其封面就可能是最亮眼的那一帧。B站，作为最近比较火热的短视频平台，其舞蹈区各种各样的舞蹈，尤其是宅舞，深受“宅男”的喜爱。（别和我说什么黑丝、jk，我真的不喜欢 ）

很久之前就萌生了想爬取王者荣耀英雄台词语音，因为语音资源不是很好找，从官网获得的话，也比较麻烦。最近刚好有朋友需要语音素材，于是我就顺便帮了他一把。完成这次爬虫，前前后后大概花了8个小时左右，用了之前没用到的库，和一些函数用法，导致bug，以至于花费时间来解决。而且因为自己过于盲目地爬取，一开始没有具体分析，到后来慢慢完善，总共写了三个版本。第一个版本，写一半发现，爬取失败；第二个版本，能够顺利爬取语音及相关文本，但是不够全面；第三个版本，顺利地爬取了全部语音及相关文本，并进行合理地合成，方便欣赏。

Python爬虫有用的库：pydub，处理音视频的库

练习爬虫的小伙伴，在爬取数据比较多的时候，有时候等候的时间比较久一点，因为不知道具体的进度，可能会感到一丝丝无聊本篇文章的主角“tqdm”可以很好地解决这个问题，让你的工程进度显然易见。

练习爬虫的许多小伙伴，在爬取网页时，肯定遇到过页面乱码的情况，其实是网页编码没有成功配对。虽然在HTML页面中有charset标签，可以查看，或者一种一种编码地试，大概率也能不难地实现。那如果有第三方库，帮助我们检测网页编码，岂不美哉！于是就有了这篇文章“主角”的登场：chardet

利用第三方库fake-useragent，随机生成user-agent，解决请求头问题，增加爬虫的真实性。

初步接触you-get，真的是一个宝藏！

使用四个函数讲述《王者荣耀》的故事。现在，我有故事，你有酒吗？

最近几天不知道该咋过？没有对象就new一个呗！

还在担心没有PPT模板吗？那就使用python自动化下载海量PPT模板吧！

很多小伙伴都喜欢二次元风格，而二次元文化在日本发展的比较早。今天就用python爬虫带你玩转日系P站----Animex动漫社，让你斩获大批的日系风格壁纸与画作。

对于考研，你还在每天数着还有多少天吗？对于天气，你还每天去看天气预报吗？你每天需要看一些励志话语来督促自己前进吗？python可以合上述三者为一体帮你轻松实现你的日常！

利用python，爬取任意商品的数据内容。

和之前爬取的角色网页相比，这个网页稍微简单一点，但依然是动态网页。

《原神》是一款开放世界冒险游戏，有着丰富多彩的元素，可爱帅气的人物角色，五彩斑斓的风景，那我们怎么使用python爬虫打开“原神世界”的大门呢？我们今天就来用python爬虫探索一下游戏角色！

PyQuery的爬虫实战

利用xpath一键提取原画壁纸，并且将壁纸合成视频，以便观看。

之前写过一篇正则表达式爬美女图片的文章，大佬说，xpath更准确，于是今天尝试了一下xpath。哇塞，xpath比正则好用不要太多，不仅准确，而且不需要自己去找节点，用Google Chrome可以直接copy。

使用requests+bs4模块完成简单的爬虫实例--笔趣阁篇。并且利用列表，将所有的小说内容放在一个txt文件中。

运用了selenium、requests及bs4库，对某易云音乐进行了简单的爬取

用requests库+正则表达式完成简单爬虫实例–美女图片篇

常用的匹配规则匹配字符符号匹配规则.匹配任意1个字符，除了换行符\n[ ]这是一个集合，匹配[ ]中的任意一个字符\d匹配一个数字，即0-9\D匹配非数字，即不是数字\s匹配空白，即空格，tab键\S匹配非空白\w匹配单词字符，即a-z,A-Z,0-9\W匹配非单词字符*匹配前一个字符出现0次或无数次，即可有可无+匹配前一个字符出现1次或无数次，即至少出现1次\ ?匹配前一个字符出现1次或0次，即要么有

网络爬虫-----Requests库入门1、requests.get()使用requests.get(url)url：拟获取页面的url链接response对象的属性如下：r.encoding:如果header种不存在charset，则认为编码为ISO-8859-1r.apparent_encoding:根据网页内容分析出的编码方式大概流程如下：首先使用 r.status_code返回200，则使用 r.text r.encoding r.apparent_encodi