![](https://img-blog.csdnimg.cn/20190927151132530.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
爬虫
文章平均质量分 72
爬虫练习...
「已注销」
一起学习,共同进步!
展开
-
Python爬虫 | 斗图网表情包抓取
⚡有了它斗图从来没输过!⚡【进程池+线程池】一、前言二、环境准备三、具体实现1、url构造2、单线程3、进程池4、线程池5、成果四、最后完成目标: 分别使用单线程、进程池和线程池下载表情包,对比三者下载速速。一、前言 学了一段时间时间的爬虫,最近又学了进程池和线程池,能加速下载,今天就写这个程序来测试。二、环境准备编辑器:pycharm用到的库:requests、lxml、multiprocessing、concurrent三、具体实现1、url构造 观察网站url,页码是原创 2021-10-16 21:51:44 · 573 阅读 · 1 评论 -
Python爬虫 | 爬取高质量小姐姐照片
Python爬虫 | 批量爬取某图网站高质量小姐姐照片1、数据来源分析2、获取author_id_list和img_id3、代码实现3.1、制作detial3.2、制作detial_list3.3、数据保存3.4、批量获取4、完整代码声明1、数据来源分析 在网页HTML源代码里,我们找到了每一张照片的地址为https://photo.tuchong.com/5489136/f/360962642.jpg 解析如下https://photo.tuchong.com/author_id_l原创 2021-10-13 20:45:58 · 5839 阅读 · 14 评论 -
⚡混沌世界中的醒与痴——醒哥与九妹⚡
⚡混沌世界中的醒与痴——醒哥与九妹⚡一、前言二、环境准备三、具体实现1、短评获取并保存2、词云制作3、主函数4、结果四、最后完成目标: 使用协程对网站进行抓,加快执行效率,提取评论,制作词云。一、前言 《巾帼枭雄之义海豪情》是《巾帼枭雄》是姐妹篇。 该剧为TVB四十三周年台庆剧,也是2010年节目巡礼剧集之一。 故事以三十年代的广州为背景。郑九妹(邓萃雯 饰)是广州最大黑道势力的郑朗军(岳华 饰)的大女儿,打理家族鸦片生意。局势动荡,日军大举侵华,大佐向山铁也(金刚 饰)利用鸦片生意原创 2021-09-12 09:33:58 · 703 阅读 · 34 评论 -
⚡一文告诉你蓬莱阁到底如何⚡
⚡一文告诉你蓬莱阁到底如何⚡一、前言二、环境准备三、具体实现1、短评游客评论并保存2、词云制作3、成果四、最后完成目标: 获取评论并制作词云一、前言 毕竟会在烟台待上三年,先了解了解烟台这个地方。二、环境准备编辑器:pycharm用到的库:requests、wordcloud、jieba三、具体实现1、短评游客评论并保存 爬取去哪儿网关于蓬莱岛的游客评论的前20页def save_comment(): fp = open("comment.txt", mode="原创 2021-09-07 08:30:22 · 5376 阅读 · 29 评论 -
⚡几行代码测出你的颜值有度高!!!⚡
⚡几行代码测出你的颜值有度高!!!⚡一、前言二、环境准备三、具体实现1、安装百度AI的库2、新建AipFace3、接口说明4、返回数据5、定义函数6、图片爬取函数7、主函数8、成果四、最后完成目标: 利用百度AI接口,对照片进行颜值评分。一、前言 想必很多人都对自己的颜值到底怎样充满好奇,也有很多软件为大家提供了颜值打分的趣味功能。今天就利用百度的平台对人脸进行颜值检测,其平台已经准确识别多种人脸属性信息,包括年龄、性别、颜值、表情、情绪、口罩、脸型、头部姿态、是否闭眼、是否配戴眼镜、人脸质原创 2021-09-05 08:48:24 · 611 阅读 · 16 评论 -
⚡王者农药皮肤图片获取!⚡
标题一、前言二、环境准备三、具体实现1、所有英雄信息获取2、分析图片url3、具体实现4、结果四、最后完成目标: 获取王者官网英雄介绍页面高清图片一、前言 王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了。我们今天的重点是爬取王者荣耀所有英雄的所有皮肤!二、环境准备编辑器:pycharm用到的库:requests、lxml三、具体实现1、所有英雄信息获取 打开官网,进入英雄资料页面,通过开发者工具,得到所有的英雄的数据 每一原创 2021-09-01 20:56:40 · 6407 阅读 · 17 评论 -
⚡萨 日 朗!!!⚡【弹幕爬取+词云】
⚡萨 日 朗!!!⚡【弹幕爬取+词云】一、前言二、环境准备三、具体实现1、封装请求函数2、获取cid3、获取弹幕4、保存弹幕5、制作词云6、主程序7、成果四、最后完成目标: 对B站视频⚡萨 日 朗!!!⚡【作者:雨夜繁星y】的弹幕进行获取,并制作词云。一、前言 华强受邀演唱萨日朗,每日一遍,日常生异形.原曲:火红的萨日朗——要不要买菜(DJ8先生)原唱:乌兰托娅二、环境准备编辑器:pycharm用到的库:re、requests、lxml、numpy、wordcloud、jieba原创 2021-08-28 16:36:21 · 611 阅读 · 15 评论 -
⚡豆瓣告诉你《扫黑风暴》如何【短评爬取+词云】 ⚡
豆瓣告诉你《扫黑风暴》如何【短评爬取+词云】一、前言二、环境准备三、具体实现1.短评获取并保存2.词云制作3 成果最后完成目标: 使用爬虫对电视剧《扫黑风暴》的豆瓣评论进行抓取,并对制作词云。一、前言 最近一部《扫黑风暴》可谓是掀起来了一波追剧狂潮,讲述了中央扫黑除恶督导组进驻中江省绿藤市,将黑恶势力及保护伞成功抓获的故事。 全员演技在线,故事悬疑,均根据真实案件改编,惊悚又令人上头!今天我们就通过抓取豆瓣最近的短评,进行词云分析看看观众们对这部电视剧的评价究竟如何?二、环境准备编原创 2021-08-27 18:55:44 · 1190 阅读 · 13 评论 -
手刃豆瓣top250排行榜
手刃豆瓣top250排行榜一、概述二、代码流程1、页面获取2、数据获取3、数据保存4、主程序5、结果四、总结一、概述 豆瓣是我挺喜欢的一个网站,因为有时候书荒了,或者想看电影了,我都会去豆瓣瞅一瞅,有哪些评分高的书籍和电影。当然喜欢它还有另外一个原因,那就是豆瓣可是新手练习爬虫的必爬网站啊!所以今天的目标也是豆瓣,要爬取的则就是豆瓣电影的top250。 功能说明:将电影的序号、电影名、电影链接、评分、评价人数、概况保存下来。二、代码流程1、页面获取# 定义一个函数来获取每次请求到的页面原创 2021-08-21 17:26:41 · 329 阅读 · 7 评论 -
爬虫之爬取猫咪图片(2.0版)
爬取猫咪图片2.0一、目标网站二、说明三、代码流程1~3与1.0版本一样4、GUI设计4.1 导入Tkinter库4.1 界面设计5、弹窗提示6、打包可执行文件四、完整代码上次一篇文章得到了大佬们的指点,提出了改进意见,十分感谢!一、目标网站本次爬取的网站是placekitten:http://placekitten.com/A quick and simple service for getting pictures of kittens for use as placeholders in原创 2021-08-11 22:16:42 · 985 阅读 · 6 评论 -
爬虫之爬取猫咪图片(1.0版)
爬取猫咪图片一、目标网站二、说明三、代码流程1、获取url2、数据获取3、数据保存四、完整代码一、目标网站本次爬取的网站是placekitten:http://placekitten.com/A quick and simple service for getting pictures of kittens for use as placeholders in your designs or code. Just put your image size (width & height) af原创 2021-08-09 22:18:16 · 568 阅读 · 4 评论