爬虫学习
文章平均质量分 72
简单的爬虫,在B站看的视频,加上自己的感受
六点半吹风机
奥特禁术千千万,偏偏艾斯学一半
展开
-
王者荣耀皮肤壁纸爬取
------废话不多说,直接写思路 ------我是用浏览器驱动来写的(直接用request也可以,不过要记得UA伪装),然后通过xpath解析,最后保存到文件夹里面。 至于我为什么用浏览器驱动而不用request,文末我会解释。网址:https://pvp.qq.com/web201605/wallpaper.shtml爬取思路:首先获得网页,其次得到图片的list(如下图)接下来,我们对第一个div解析(如下图),我们发现这个图片只是215✖120,必然是个小图片,不是我们需要的。原创 2021-05-20 23:02:02 · 631 阅读 · 0 评论 -
每日一报(Python爬虫---基于浏览器自动化)
每日一报以前只需要填写温度,但是随着疫情的严重,填写的内容越来越多,所以可以尝试用浏览器自动化的功能来完成,这样连舍友的也能帮忙完成了。下载浏览器驱动 我用的是谷歌浏览器,所以给的这个连接也谷歌浏览器的驱动,大家可以根据自己的谷歌版本自行下载。 [http://chromedriver.storage.googleapis.com/index.html](http://chromedriver.storage.googleapis.com/index.html)根据每日一报的具体内容编写代原创 2021-01-25 13:52:13 · 1538 阅读 · 5 评论 -
LSP是第一生产力 深夜开车,图片不够了怎么办?爪巴就完事了(爬虫爬取网页图片)
标题很明确了吧,我们如何才能在网页上爬取图片呢?首先,打开一个网址:(就用这个举例子吧) http://www.win4000.com/wallpaper_2285_0_0_1.html那么,url就是它了,接下来,对url进行访问(记得UA伪装,可以通过抓包工具获得,这里我就不写了)page_text=requests.get(url=url,headers=headers).text图片肯定在页面的原码中,那么我们获得页面数据,就可以继续搜索图片的具体位置了拿到页面后,用xpath解析的方原创 2020-11-18 20:16:50 · 57238 阅读 · 0 评论 -
爬虫--百度翻译--能在Python Console里表现岂不是更牛逼(滑稽)
基于爬虫的一个小操作就拿“百度翻译”来作为例子首先导包import requests其次,我们要访问这个网站,我把它粘贴到这里https://fanyi.baidu.com假如我们输入一个单词,word。我们可以发现,输入单词后,网页并不是跳转了,而是在当前网页显示出翻译结果,因此,我们可以判断出这是ajax的请求操作,那就需要我们打开抓包工具了-----------------------------------------------------------------------抓原创 2020-11-15 17:52:29 · 770 阅读 · 1 评论