爬虫
文章平均质量分 72
爬虫学习记录
joker_zsl
人生的意义是什么?让别人不用走自己曾走过的弯路,大概也算是吧。
展开
-
UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xac in position 244: illegal multibyte sequence
前言:这个是使用execjs加载js文件时出现的报错,参考解决方法之前先看看和你遇见的问题是否一样。有些人百度解决问题上来一通操作,也不看对不对症,解决不了就骂人我也是服辣。Python库中的这个subprocess.py文件,有个方法的encoding参数默认值是None,改成'utf-8'一般遇见编码问题先看看代码里写没写encoding='utf-8',没写的话写加上试试。当然,我遇到的问题跟这个没关系。(点文件名进入,搜索encoding=none)方法一简单粗暴,一劳永逸。原创 2024-01-16 17:49:57 · 438 阅读 · 0 评论 -
无限debugger的几种处理方式
不少网站会在代码中加入‘debugger’,使你F12时一直卡在debugger,这种措施会让新手朋友束手无策。js中创建debugger的方式有很多,基础的形式有:①直接创建debuggerdebugger;②通过eval创建debugger(在虚拟机中创建)③通过Function创建debugger(在虚拟机中创建)而我们遇到的debugger,多数是在这些形式的基础上,或配合定时器,或加上循环,甚至经过ob混淆。。。原创 2024-03-07 16:54:04 · 1221 阅读 · 1 评论 -
今日头条 _signature逆向分析
声明:本文仅作学习交流,请遵守法律法规,不要恶意爬取网站。网址:'aHR0cHM6Ly93d3cudG91dGlhby5jb20v'接口:'aHR0cHM6Ly93d3cudG91dGlhby5jb20vaG90LWV2ZW50L2hvdC1ib2FyZC8='本文提到的接口是头条的今日热榜接口,观察接口发现其中有一个加密参数 _signature,以下分析此参数的生成过程。原创 2024-03-06 23:30:32 · 1486 阅读 · 0 评论 -
逆向使用webpack打包的网站
webpack 是 JavaScript 应用程序的模块打包器,可以把开发中的所有资源(图片、js文件、css文件等)都看成模块,通过loader(加载器)和 plugins (插件)对资源进行处理,打包成符合生产环境部署的前端资源。所有的资源都是通过 JavaScript 渲染出来的。最基础最简单的样式:一个自执行方法,方法内部是加载器,入参是要加载的模块;加载器中明显的内容是类似 e[t].call(a.exports, a, a.exports, n);入参一般是数组或对象,里面是各种函数。原创 2024-01-17 17:27:57 · 1094 阅读 · 0 评论 -
京东联盟h5st(3.1)逆向分析
声明:本文仅作学习交流,请遵守法律法规,不要恶意爬取网站。网址:'aHR0cHM6Ly91bmlvbi5qZC5jb20vcHJvTWFuYWdlci9pbmRleA=='h5st是京东系的反爬方式,即在接口中加上一个叫h5st的参数,h5st加密有不同的版本。本文提到的网站不是京东网站,是和京东有关联的一个网站,也有h5st参数,是3.1版本。原创 2024-02-26 13:04:53 · 2691 阅读 · 8 评论 -
gdzwfw某省公共资源交易平台逆向学习
hook住之后你就跟着堆栈挨个找吧,我找的是头!此网站采用请求头反爬,难点是请求头中几个参数是如何生成的(别问为什么知道是请求头,一个一个试的。搜索这几个请求头可以发现是找不到的,由此可以判断JS是经过混淆的,或者参数名是在JS运行中生成的。最难的就是如何定位到这几个参数是在JS的哪个位置产生的了,这比较依赖经验,全靠大胆猜测,小心求证。debug的时候你会发现,X-Dgi-Req-Signature确实是这样的。后面的就不用说了,把这个也扣出来。能拿到数据,说明获取到的请求头没毛病。原创 2024-01-24 20:58:08 · 1408 阅读 · 0 评论 -
JS逆向中常见的加密算法
说明:本文不是算法的科普,仅是学习过程中的总结,旨在比较各算法的加密过程以及密文长度,以便逆向过程中遇到加密数据能帮助推测是使用了何种加密。有错漏之处烦请指正,仅供初学者参考。原创 2024-01-19 00:10:39 · 1550 阅读 · 0 评论 -
瑞数5逆向过程(纯补环境)
声明:本文仅作学习交流,请遵守法律法规,不要恶意爬取网站。原创 2024-03-11 21:07:32 · 2891 阅读 · 7 评论