![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python 爬虫进阶
文章平均质量分 63
python 爬虫进阶
不会敲代码的我
这个作者很懒,什么都没留下…
展开
-
阿里资产 法拍逆向 sign加密 爬虫
全局搜素sign:,进行多处断点,刷新页面,可以发现sign加密参数以及加密方法。有经验的可以看出sign值是进行md5加密,可以使用js或python模拟加密,也可以直接将p函数扣下来。可以发现o.token的值是变化的,而第一次是固定值undefined,第二次的值取自第一次获取的cookie中部分值。data的值也是固定的,但是如果向不同页数发送申请,要进行字符串切割,将页数改成参数,进行修改,拼接。至此,sign值的参数以及加密函数都已经获取,就可以进行加密发送请求获取数据。原创 2023-05-03 11:36:56 · 1781 阅读 · 8 评论 -
某蜂窝 旅游攻略导航采集 feapder采集 爬虫
发送请求后,在parse函数中就可以进行数据的匹配,feapder可选用多种库进行匹配,在这里以xpath作为示例,网页元素的xpath路径可以通过点击网页元素右键进行复制路径,然后进行自己调整。进入网页之后,打开DevTools,刷新网页获取请求,查看请求中的信息,发现所需数据属于静态,但是需要通过点击网页中的加载更多,才会有一个新的请求, 包含新的数据。接着查看载荷中的数据,显示用表单数据,请求中就用data格式,不需要用JSON格式,将其在feapder的函数中定义,并将回调至parse函数。原创 2023-05-02 16:07:54 · 672 阅读 · 0 评论 -
某乐指数,数据解密,爬虫实战
再查看请求标头,在这个里可以清楚的看到,有一个cookie和uuid需要我们注意,然后多次刷新页面,再次查看新出现的请求标头中的cookie和uuid,会发现,多次刷新,结果都一样,可以直接在请求标中带入。依次点击之后,在相应的地方打上断点,进行刷新调试,就会找到解密数据的js代码,获取响应的明文数据,而在整个dataFilter函数就是我们需要的js代码,将其扣下来,并进行修改。运行完代码后,就会发现报出新的问题,重复之前的步骤,将所缺的代码进行扣下来。最后的扣取完成的代码结果。原创 2023-05-02 14:58:23 · 428 阅读 · 2 评论