爬虫与数据分析
这里是一些爬虫数据分析小项目,禁止白嫖,点点关注,来点辛苦费吧~
爱学编程的小洋~肖恩
这个作者很懒,什么都没留下…
展开
-
我的哔哩哔哩视频小工具
主要是针对哔哩哔哩的多种类型视频进行接口的封装,实现多种类型视频的爬取。界面虽说是丑了点,但是功能很齐全,啊哈哈哈这个工具包括单个视频的爬取,多个视频的爬取,up主的所有视频爬取,关键字搜索的视频爬取,以及合集视频的爬取,我猜来B站学习的肯定大部分时间看的视频都是合集视频,所以我特意实现了合集视频的爬取。原创 2023-08-22 13:50:57 · 439 阅读 · 0 评论 -
JS逆向实现百度翻译接口
我们发现这个地方的参数和我们请求的携带参数很像,大概率这个sign是在这儿产生的,所以我们在这个地方加上断点调试,我们重新点击立即翻译,发现程序被debug住了,刚好是这个sign: b(e)这个地方,我们复制b(e)在控制台打印结果,发现刚好就是我们需要的sign,经过排查,我们发现r是有初值的,我们的r是null,然后我们复制r的值之后再运行。这个就是我们需要的b函数,我们复制这个函数到我们的编辑器中运行。刚好就在这个b函数的上方,复制n函数之后我们运行。n函数没有定义,我们就去找n函数的位置。原创 2023-08-22 13:32:13 · 1170 阅读 · 0 评论 -
爬取百度贴吧的指定贴吧的所有图片
进行匹配,通过分析我们发现每个帖子都有 rel="noopener",class="j_th_tit ",那这样就好办了!而在每个详情帖子中,我们发现每个人发的图片都有一个叫BDE_Image的class属性,并且html的核心内容没有被注释,所以我们可以直接使用beautiful或者xpath获取。我们发现kw就是我们搜索的贴吧内容,pn就是每页的内容,并且每一页的增量是50,通过这个分析,我们就是可以来拼接链接进行请求了。如果获取帖子详情页下面的图片。如何获取每个帖子的详情链接。我们发现请求的每页的。原创 2023-08-17 11:05:49 · 385 阅读 · 1 评论 -
爬取彼岸图壁纸
【代码】爬取彼岸图壁纸。原创 2023-08-16 13:44:14 · 79 阅读 · 1 评论 -
爬取微博用户的相册图片
主要是在抓包分析怎么实现分页获取,通过抓包分析,我们知道每次请求获取照片的时候,返回的数据中都会有一个。用过上述分析我们就可以轻松获取数据了。当请求为最后一页数据的时候,原创 2023-08-16 13:29:25 · 940 阅读 · 2 评论 -
爬取微博用户的所有视频
主要是在抓包分析怎么实现分页获取,通过抓包分析,我们知道每次请求获取视频的时候,返回的数据中都会有一个。当请求为最后一页的时候,next_cursor为-1,第一次请求next_cursor为0。通过这样分析,我们就可以很容易获取到想要的数据了。原创 2023-08-16 13:02:13 · 359 阅读 · 1 评论