
Python爬虫
文章平均质量分 67
实现对各大网站的数据获取案例
黄小耶@
Hello World!
展开
-
python爬取豆瓣电影数据
豆瓣这个网站相信大家并不陌生,大家一定想知道哪些电影类型是比较好看的,哪些电影是评分高的,今天的主题就是教大家爬取豆瓣电影的电影数据。原创 2024-08-14 11:44:10 · 1420 阅读 · 0 评论 -
爬虫怎么使用代理IP
爬虫常见的反爬手段主要是IP反爬,那我们该如何去解决呢?当然是去买代理IP呀,现在一些主要的付费代理Ip网站有快代理,高匿代理,芝麻代理等。教你们一个白嫖代理IP的方法,现在芝麻代理能免费送20元的代理,如果想要更多,只能自己付费啦。本次也是用芝麻代理来做的演示。然后点击生产API链接,就会出现3种形式,我们选择独享代理,并复制链接。我们先提取10个,建议勾选如图选项。原创 2022-12-10 13:16:38 · 1269 阅读 · 0 评论 -
Pyecharts可视化全国新冠疫情
近几年来,我国一直受着新冠疫情的侵扰,随着每天新冠信息的日夜更迭,我们该如何从新闻中挖掘到有效信息呢?所以大体有2部分,第一是进行数据采集 ,第二是进行数据分析和数据可视化。新冠疫情的数据采集部分已经发了,大家如果不知道,可以点击这个链接,本篇讲述的是如何对新冠疫情数据进行数据分析和数据可视化。原创 2022-11-30 11:33:30 · 3797 阅读 · 0 评论 -
Python爬取全国新冠疫情数据
近几年来,我国一直受着疫情的侵扰,随着每天新闻日夜的更迭,我们该如何从新闻中挖掘到有效信息呢?所以大体有2部分,第一是进行数据采集,第二是进行数据分析和数据可视化。本篇讲述的是如何对新闻的新冠疫情数据进行采集原创 2022-11-27 17:27:46 · 6320 阅读 · 4 评论 -
爬虫快速给请求头添加引号和冒号
在爬虫项目中,我们会通常构造请求头来伪装我们的爬虫,而请求头是用的Python中的字典键值对的形式,然而给请求头一个个添加冒号和引号太麻烦了,所以我们可以用正则表达式来快速添加请求头。原创 2022-11-15 16:28:13 · 1643 阅读 · 4 评论 -
爬取起点中文网月票榜
一、背景想知道每月最火的小说是哪些?想知道每本小说月票榜数,周票榜数和打赏人数是多少,下面是爬取,我们想要的字段都在页面源代码里,且几乎没有什么反爬手段。原创 2022-11-05 20:39:55 · 1599 阅读 · 4 评论 -
Python爬取2345天气网
Python爬取某天气网的历史数据,基于面向对象来实现原创 2022-10-31 15:27:06 · 5680 阅读 · 13 评论