爬虫
文章平均质量分 78
林_胖
找工作...找工作...找工作,有单位收留吗?
展开
-
爬虫7_《隐秘的角落》豆瓣影评爬取及可视化分析
爬取链接:隐藏的角落豆瓣影评本文源码:百度云 提取码影评爬取豆瓣网有限制,各种类型的评论只可以爬取220条,所以我爬取了好评、一般、差评各220条,过滤解析错误的影评后,累计爬取630条。爬取维度为评论类型、点赞数、评分、发布日期、评论。分析urlstart:从第几条开始展示,豆瓣影评每一页都是20条评论,所以start应该是20的倍数。limit:这个限制了每页显示多少评论,但修改数值也没用。sort:根据热门/最新/好友进行排序, 这里我选择了热门。status:P/F代表看过和想看,原创 2020-07-05 01:39:51 · 2203 阅读 · 8 评论 -
爬虫模拟登录人人网
爬虫模拟登录人人网路径F12–>Network,输入账号密码点击登录。左边这个login好像有点东西,我们点开看看。眼前一亮!有一个Request URL!往这里面传?错的!往这里面传只会给你405。既然是表单POST提交,那我们还是去html代码里面找form吧。就这样我们找到了正确的url–>http://www.renren.com/PLogin.do传参F...原创 2019-08-13 19:03:24 · 295 阅读 · 0 评论 -
爬虫6_周杰伦新歌《Mojito》B站弹幕分析
6.12周杰伦发布新歌《Mojito》,赶紧蹭个热点来看一下大家弹幕都会说点什么。爬取链接【官方MV】Mojito - 周杰伦本项目源码,提取码duq8找弹幕API自己抓包研究是不可能的,前人肯定都帮我们踩过坑了,所以我这种技术渣渣肯定要在搜索引擎上搜寻资料的,B站弹幕接口,这篇文章很详细地介绍了B站弹幕API的各个参数。B站弹幕API格式:https://api.bilibili.com/x/v1/dm/list.so?oid= + cid找cid打开爬取链接F12打开开发者模式选择原创 2020-06-12 22:42:10 · 1736 阅读 · 6 评论 -
爬虫1_自建代理IP池
自建IP代理池从今天起,开始一点点记录自己学习的路线,也是作为对自己的一个监督。今天要做的是从西刺代理网(https://www.xicidaili.com/nn/)爬取免费代理ip存入本地redis。作为一个不舍得花钱买动态代理ip的穷鬼,只能想出这么个鬼办法了。获取url上图为西刺代理网的第二页,我们往后翻几页可以很容易地分析出,西刺url设计的很简单,翻页的变化就在于/nn/后面...原创 2019-09-15 16:08:22 · 519 阅读 · 1 评论 -
爬虫2_起点中文网字体反爬
起点中文网_字体反爬今天讲一下起点中文网的列表页爬取,准备爬取的是小说书名、图片url、详情页url、作者、字数、分类及状态。爬取网址:https://www.qidian.com/all分析url翻页至第二页、第三页,发现url上只有page=x这一个在改变,所以url的循环就很容易写出def main(): """ 起点中文网列表页只能爬5页 :return...原创 2019-09-16 11:57:36 · 947 阅读 · 2 评论 -
爬虫3_猫眼TOP100
猫眼TOP100好多人的爬虫都是从爬取猫眼排行榜,或者爬爬妹子图开始的,我也不例外,今天和大家分享一下猫眼TOP100榜的爬取。目标网址:https://maoyan.com/board/4分析url还是从第二页开始找,可以看到offset一直是以10的倍数在递增,因为每一个都展示10部电影,所以url就很容易分析出来。def main(): url = 'http://mao...原创 2019-09-19 00:22:34 · 636 阅读 · 0 评论 -
爬虫4_表情包爬取
表情包爬取今天还是入门学习的一篇记录,爬取表情包,斗图再也不怕了!爬取网址:https://fabiaoqing.com/bqb/index.html分析url进入爬取网址,然后输入关键词翻到第二页,从url的变化上来看主要就是上图红框处有所变化。所以url就很好写了。这里就先先写个basic_url,因为要根据输入的关键词和爬取页数来修改路径。basic_url = f"http...原创 2019-09-19 11:58:22 · 783 阅读 · 0 评论 -
爬虫5_QQ音乐《说好不哭》评论爬取及可视化
说好不哭评论_生成词云图最近周杰伦的新歌《说好不哭》发布,我的朋友圈也是不断被刷屏,那就趁着热度,我们来看看网友们对这首歌的评论如何吧。目标网址:https://y.qq.com/n/yqq/song/001qvvgF38HVc4.html?ADTAG=baiduald&play=1#comment_box分析网页我们打开QQ音乐找到《说好不哭》,页面下拉可以看到不少网友评论,起码...原创 2019-09-22 00:12:30 · 899 阅读 · 0 评论