爬虫
文章平均质量分 82
北愚
白菜键盘手
展开
-
自动化采集数据之解决滑动验证码
对于初级选手和数据需求不大的的数据采集,使用自动化库进行模拟,但是抵不住请求多了还是会蹦验证,所以具备处理验证的能力也是十分有必要的。原创 2024-09-07 22:01:33 · 409 阅读 · 0 评论 -
爬虫加前端就是王炸
很多小伙伴在学会爬虫之后可恨每次都只能是控制台打印输出,数据丝毫没有美感,看个链接还得手动打开一个浏览器,久而久之也就没什么兴趣了。但是如果加上一点前端技术,把数据换个方式呈现出来,那感觉是不是就不一样了呢?原创 2024-09-03 12:32:49 · 589 阅读 · 0 评论 -
网易音乐web端的请求参数params和encSecKey
网易云音乐作为一款功能强大的音乐流媒体平台,确实为用户提供了丰富的音乐享受和社区互动体验。然而,当涉及到批量下载音乐资源,特别是希望下载整个歌单或某位歌手的全部歌曲时,由于版权保护和平台策略的限制,通常无法通过官方渠道直接实现这一功能。这时,技术爱好者或开发者可能会考虑使用爬虫技术来尝试获取这些资源。针对网易云音乐这类使用密文请求参数(params和encSecKey)的平台,逆向工程成为了解析这些参数并编写有效爬虫的第一步。原创 2024-07-23 21:38:29 · 1002 阅读 · 0 评论 -
某大范围建筑市场监管平台返回密文解密逆向
这个平台对于新手朋友十分友好,简单但又能同时锻炼多种能力,简单的逆向以及全站分析爬取等,在此和各位交流,分享我的方法与心得。原创 2024-07-21 15:17:51 · 606 阅读 · 0 评论 -
使用Python制作自己的翻译朗读插件
某度翻译更新了,但是原来的接口并没有停用,原理逆向过,感觉比较有意思,就做了一个借助这个API的简易翻译加朗读的小demo,今天分享给大家。原创 2024-07-17 16:56:44 · 315 阅读 · 0 评论 -
某道翻译的逆向实现
一个入门进阶的算法分析,同时具有一定的实际意义,卖给同学的一个API(开玩笑)!原创 2024-07-17 11:50:32 · 404 阅读 · 0 评论 -
历史天气数据获取——请求参数与返回结果的模拟加密与解密
获取大量的历史天气数据,得到的数据可以做很多反面的研究(数据分析的期中、期末汇报等等,还可以做相关的web开发等,在本次的例子中也可以将重点放在逆向上,考虑安全问题),本次将以一个提供近10年主要城市的天气数据的网页为例,介绍逆向过程和数据处理与分析,提供一丢丢的思路与解法。目标网址PM2.5历史数据_空气质量指数历史数据_中国空气质量在线监测分析平台历史数据PM2.5历史数据查询,空气质量指数(AQI)历史数据查询,全国空气质量指数排名,中国空气质量在线监测分析平台历史数据查询。原创 2024-07-15 11:37:40 · 1019 阅读 · 0 评论 -
可听即可爬-喜马拉雅-小说mp3资源批量获取
在网页端明明是可以听的,但是当我们要下载时就会提示必须要下载客户端才能下载,但是我并不想被胁迫着安装,怎么呢?不惯着,直接薅了它!!!!原创 2024-07-14 21:26:14 · 843 阅读 · 8 评论 -
小逆向玩转选课系统
作为一名大学生,每次最烦恼的就是选课的时候选课系统巨卡无比,而且有些选课轮次还是先到先得,这让抢课开放时还在认真学习导致网页打不开,登陆不上的我如何是好?但是作为一名爱好者,我们不谈外挂,只是尽量去模拟这个浏览器和人的行为,去尝试自动化的替我们选课。原创 2024-07-02 11:07:34 · 1230 阅读 · 0 评论 -
笔**阁小说采集
而我们需要的文本都是在 <div id="chaptercontent" class="Readarea ReadAjax_content">这个容器里的,拿到这个容器的text文本就结束了。章节是在<div class="listmain">容器下的一些dd里,拿到这个dd的href属性就可以了,将其存储在一个列表中返回,标题同理。原创 2024-04-09 16:58:19 · 425 阅读 · 1 评论