
爬虫
文章平均质量分 77
有趣的爬虫教程
小王不头秃
一个热衷java的python博主
展开
-
python爬取舔狗语录 初识selenium
前言首先咱们先看看舔狗的卑微经历吧看看这卑微的聊天记录,就是那种你发十句,别人不稀得回一句的那种,虽然是舔狗吧,但也玩出花吗,最近刚发现了一个舔狗网站,来看看怎么把舔狗玩出花吧分析页面其实很简单的一个页面,总的流程就是实现点击换页,然后进行文本的获取先来看看页面主要就是两步,通过xpath获取到文本和按钮,然后进行分别操作,先来写一下xpath因为整个页面只有一个按钮标签,所以获取按钮的xpath很简单,如下图所示然后来获取文本内容,与按钮相同,该页面中也只有一个article标签,原创 2021-11-06 21:14:15 · 5692 阅读 · 20 评论 -
python爬取英雄联盟手游的全英雄皮肤 初识selenium
python爬取英雄联盟手游的全英雄皮肤前言分析页面前言近期这个鸽了好久的英雄联盟手游终于上线了,虽然博主不是英雄联盟端游玩家,但看到这个游戏上线还是超级开心的,受到了一些博主爬王者荣耀皮肤的启发,我们来试试爬英雄联盟的皮肤图片吧。分析页面来到英雄联盟手游的官网,我们来看看这个英雄列表的展示形式吧...原创 2021-10-23 23:25:28 · 13719 阅读 · 25 评论 -
python爬虫入门案例,持续更新
十一个python入门爬虫小案例前言爬虫案例聊天没有表情包被嘲讽,程序员直接用python爬取了十万张表情包python爬b站视频 人生苦短 我用pythonPython爬取美女图片 爬虫基础python爬取网易云评论 超简单教程python爬鱿鱼游戏的评价 看看鱿鱼游戏到底值不值得看 初识selenium学会这个,全网视频任你爬取,一分钟学会you-getpython爬取4k小姐姐图片 人生苦短 我用pythonts视频下载 准备下载视频的你确定不进来看看吗微博吃瓜总是晚一步才知道,程序员直接写了一个热搜原创 2021-10-21 23:37:31 · 7389 阅读 · 10 评论 -
python爬鱿鱼游戏的评价 看看鱿鱼游戏到底值不值得看 初识selenium
前言鱿鱼游戏是什么,相信大家都不陌生了,虽然说博主没看过这部剧,但是还是对豆瓣的评论有点好奇,刚刚好近期学习了selenium,就当练练手了,来吧来吧,爬爬爬。分析页面还是老样子,兄弟们先打开我们最喜欢的google浏览器,点击F12,开启爬虫快乐模式来到页面,如下图步骤,逐个点击然后我们就发现这个页面确实很简单,每一条评论就是包在了class为short的span标签内,那就可以开始写xpath了,如下图这样一页的评论就拿到了,接下来就是换页了有一个小技巧,不需要我们自己写xpath,原创 2021-10-17 23:27:27 · 4822 阅读 · 26 评论 -
敲代码累了怎么办,快用python爬小姐姐视频吧
快来用python看小姐姐吧前言前言天天敲代码,看着逐渐光滑的头顶,那么有啥可以让我的心灵得到稍稍的安慰吗这时一位大爷给了我们答案那来吧,开整。原创 2021-08-31 17:10:09 · 1003 阅读 · 1 评论 -
微博吃瓜总是晚一步才知道,程序员直接写了一个热搜提醒工具
爬取微博热搜前言两行代码微博热搜内容解析分析拿取到的内容具体代码实现获取热搜信息解析出热搜榜单内容并判断是否我关注的内容上了热搜邮件发送工具类每分钟获取一次热搜信息,并判断是否发送邮件提醒成果前言首先说一下,并不是标题党哈,想看,两行代码就在下面,不过只是爬取微博热搜内容,而后我们会再进行邮件提醒功能两行代码r = requests.get("https://weibo.com/ajax/statuses/hot_band", headers=header) print(r.json()["原创 2021-08-19 13:20:32 · 3578 阅读 · 7 评论 -
ts视频下载 准备下载视频的你确定不进来看看吗
前言之前一直爬取的内容都是完整的文件,例如一整个mp3或则mp4,但是目前很多视频网站都开始采用ts流媒体视频的方式进行视频的展示,不知道你有没有这样的体验,原创 2021-07-19 23:55:34 · 10159 阅读 · 3 评论 -
python爬取4k小姐姐图片 人生苦短 我用python
4k壁纸它来了前言分析代码拼接每一页图片的路径对每一页图片进行页面的解析,拿到图片详情页的url拿到图片的url和图片名线程池 多线程下载总结成果展示老样子 先来几张图前言今天打开电脑看见自己用了好久的壁纸是时候换一个了,但苦于无良心的壁纸网站,然后我打开了知乎,搜素壁纸推荐,让我发现了这个宝藏壁纸网站wallhaven这主页。。。。要是不爬一下感觉都对不起这主页,开整。分析这个壁纸主页和我之前爬取的壁纸网站有一些不同的地方,主要的不同就是这个壁纸网站图片并不是一页一页显示的,而是动态添原创 2021-07-12 00:16:51 · 4758 阅读 · 14 评论 -
python爬取电影信息
刚刚接触爬虫,模仿之前写的代码对80s网站的电影信息进行爬取,爬取的网址为80s使用的库import re # 正则表达式import urllib.request, urllib.error # 指定url,获取网页数据from bs4 import BeautifulSoup # 网页解析爬虫代码from api import test as t# 引入第三方模块import re # 正则表达式import urllib.request, urllib.error # 指原创 2021-03-02 20:11:34 · 3475 阅读 · 7 评论