新版知乎反爬虫js逆向过程

最新推荐文章于 2024-07-25 09:14:05 发布
置顶 最新推荐文章于 2024-07-25 09:14:05 发布
阅读量4.8k 收藏 12
点赞数 6
分类专栏： 爬虫技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/he_ranly/article/details/106861369
版权

大约是在2020年3月底左右，知乎的反爬虫开始升级，再也不能放个UA就肆无忌惮的爬取了，此次的爬虫升级主要是在请求头中增加了一些加密参数，如图，其中必不可少的参数是x-zse-86，x-ab-param参数可以不要，x-zse-81参数是因为滑动翻页才会出现，不过有种方式可以让它不出现也可以翻页。
啊啊啊啊啊啊在这里插入图片描述破解x-zse-86的过程记录如下：
1.全局搜索，定位加密参数所在位置
在这里插入图片描述2.找到参数，打断点![在这里插入图片描述](https://img-blog.csdnimg.cn/2020061919470689.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlX3Jhbmx5,size_16,color_FFFFFF,t_70在这里插入图片描述3.观察加密参数上下文传了什么，被哪个函数加密，加密了变成了什么
在这里插入图片描述在这里可以看到f.signature就是我们要找到参数，我们找到f所在函数继续打断点
在这里插入图片描述最后找到了这里其中f的形式为："3_2.0+/api/v4/search_v3?t=general&q=python&correction=1&offset=0&limit=20&lc_idx=0&show_all_topics=0+https://www.zhihu.com/search?type=content&q=python+“AIBWd7QGcxGPTuF4P_hiRBjNjKKmH7mnibE=|1592557053"”

其中"AIBWd7QGcxGPTuF4P_hiRBjNjKKmH7mnibE=|1592557053"这一传是cookie中的d0c参数，前面部分我们可以根据搜索链接构造，最后的步骤就是找到F()函数和q()函数了
最终效果：
在这里插入图片描述

润年
关注
专栏目录
爬虫逆向(js逆向)
lempoo的博客
11-24 2082
异步爬虫的实现方式 - 线程池 - 多任务的异步协程 - 多线程(生产者消费者模型) 线程池 前提 from flask import Flask,render_template from time import sleep app = Flask(__name__) @app.route('/bobo') def index1(): sleep(2) return render_template('test.html') @app.route('/jay') def index2()
记一次爬虫-js逆向解析学习
weixin_44955304的博客
10-20 638
在 NightTeam微信公众号上看见大佬一篇文章听说你碰到这种反爬就歇菜了？手把手教你秒杀它！ 大佬具体扣代码没写，很是受伤，于是自己摸索了大半天，捋顺了大部分逻辑，写出来分享一下 ps：发送消息「隐式Style-CSS」到大佬微信公众号「NightTeam」即可获取样例地址~ 前面分析,大神写的非常详细，具体看大神写的就好 观察与分析977行和1133行代码 977处代码定义了变量_0x...
知乎爬虫最新版java
07-11
java写的爬虫多线程爬取知乎用户详细信息,方便简单,重要的是这是最新的
知乎登录js逆向及文章爬取js逆向
weixin_45886778的博客
02-02 2593
知乎登录js逆向及文章爬取js逆向 **在此声明：**本文章仅仅用于学习交流，不得用于商业活动。 登录支持账号密码登录及知乎移动端软件扫码登录。 文章爬取是把原文章的原样近似爬取，包括图片，链接，及评论。同时支持实时热点爬取。 好久不更新文章了，现在不一样了，放假了。其实这个文章我好久之前就打算写，但是当时比较忙，就被搁置了，现在放假了，就继续来。要不就半途而废了。也浪费了以前的时间。废话不多说，我们直接开干。 知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上
知乎逆向x-96参数（一步步分析环境）
最新发布
SM_zeng的博客
07-25 528
一步步分析环境
某乎x-zse-96、x-zst-81最新通杀方案
热门推荐
u013291301的博客
10-28 2万+
某乎x-zse-96、x-zst-81最新通杀方案
[JS逆向] 知乎x-zse-96参数分析详解
weixin_46874932的博客
11-23 2442
某乎的加密参数
最新版（2021年1月）知乎x-zse-86 2.0版本加密破解分析 爬虫 破解反爬思路
雨果guo
01-27 4171
一、前言 知乎应该在21年1月20日左右升级了x-zse参数的加密方法。 这是之前1.0版的x-zse-86参数 这是刚刚升级的2.0版本 二、破解思路（不想看思路可以直接拉到最后看结论） 首先附上1.0版本的破解思路： https://blog.csdn.net/weixin_40352715/article/details/107546166 https://blog.csdn.net/qq_36547531/article/details/111055802 打开浏览器开发者模式查看网站的js文件
【JavaScript 逆向】猿人学 web 第二题：动态 cookie
Yy_Rose的博客
09-14 4271
猿人学练习平台 web 比赛第二题：js 混淆，动态 cookie，OB 混淆，扣代码补环境
知乎搜索信息获取(x-zse-96)参数JS逆向破解
AngrySnack的博客
02-17 2008
网站：aHR0cHM6Ly93d3cuemhpaHUuY29tLw== 1、网页抓包分析，找到返回数据接口与加密参数 可以看到search_v3这个就是返回参数的接口，复制对应的cURL(base)到postman进行重新请求 通过重复测试可以知道只需要三个参数就能获取到数据（x-zse-96、x-zse-93、cookie），其中x-zse-93为固定值、cookie为身份认证信息，只有x-zse-96为动态变化，下滑数据也能得到新的请求信息，验证x-zse-96为动态参数 2、加密参数破解 老一套
Python爬虫之Js逆向案例(2)-某乎搜索
玛卡`三少 的博客
05-30 2285
Python爬虫之Js逆向案例(2)-知乎搜索 声明：知乎加密逆向分析仅用于研究和学习 大家好，今天继续分享关于知乎关键词搜索接口为案例的Js逆向实战。如果你是一名新手，而且还没有来得及看上一篇《Python爬虫之Js逆向案例(1)-知乎搜索》的话，建议你先去看完再来看这一篇，因为里面有很多有利于新手实操的高能总结，还包含了一些js调试技巧，上一篇里中总结的内容在后续案例中不会再那么详细的讲了，不然有些冗余，见谅哈！； 今天的内容是在昨天的基础上继续深入。通常情况下，我们的爬虫肯定不只是取第一页的数据，例如
Python爬虫之Js逆向案例(8)-某乎x-zst-81之webpack
玛卡`三少 的博客
10-22 2928
webpack官网中的一句原话是这样说的：本质上，webpack是一个现代JavaScript应用程序的静态模块打包器(module bundler)。当 webpack处理应用程序时，它会递归地构建一个依赖关系图(dependencygraph)，其中包含应用程序需要的每个模块，然后将所有这些模块打包成一个或多个 bundle。正如上面描述的一样，这个东西就是一款现代化的前端模块打包工具而已！！！它是打包工具跟我们逆向有什么关系？？？有关系呀！
Python爬虫之Js逆向案例(12)-知乎答案批量获取保存到CSV文件
玛卡`三少 的博客
10-30 919
大家好，本期分享的内容是一个关于批量获取知乎答案的案例，本案例的重点是教大家在写爬虫时如何更规范的去编写自己的爬虫。场景是这样的，最近在帮一位同学排查几个爬虫问题，于是乎我三生有幸看到了这位工作几年的老哥写的爬虫代码，中间过程我就省略了，一句话总结就是：写的代码很好，下次不许再写了！！！至少以后别再让我给你排查bug了、、、那个痛苦的过程，给你排查bug差点让我改行、、、；所以本次用批量爬取知乎问题的答案为案例来简单介绍一下我是如何编写一个爬虫的，以至于让我排查问题时如此高效！！！
知乎逆向搜索关键字
huanghong6956的博客
04-24 284
知乎x-zse-96逆向分析
weixin_44697518的博客
04-29 1139
我开了个知识星球，本期成品已放到了里面，有需要的小伙伴可以自行去取，jd的参数，阿里bxet纯算、快手滑块，Pdd—Anti，ikuai，b站login之-极验3文字，某音ab，瑞数456vmp补环境，知乎x-zse-96等等，主要是某些大佬加我问成品，很多人都打着白嫖的手段去加我好友为目的，问完基本就以后没有任何的交集，这样的交好友雀氏没有任何意义。不如我直接开个星球，里面直接放我逆向的成品以及逆向的思路，这样大家各取所需，我也有点收益，意义更明确点，免得浪费大家的时间。x-zse-96为真--->
从新版教务爬虫到JS逆向
Parallel2333的博客
06-04 630
看提到的原博链接即可 新版正方教务爬虫：https://blog.csdn.net/Koevas/article/details/88384604代码可运行 login_getPublickey.html login_slogin.html的RSA和hex2b64 JS逆向： 百度翻译爬虫：https://blog.csdn.net/hwh1996/article...
知乎反爬虫解决
玛卡玛卡
08-27 3243
最近知乎更新了反爬虫,现在来看下 一.抓包分析 从抓包可看出有如下几个参数比较可疑: ①x-ab-pb ②x-zse-96 ③x-zst-81 最后经过反复验证x-zse-96 才是通过接口验证的关键参数,虽然x-zse-81也是个动态参数,但是不知道应用在哪个接口进行的验证,那么接下来分析下x-zse-96 这个参数。 二.搜索关键字参数定位代码: 在sources选项卡下全局搜索看看能不能搜索到关键定位 ...
重磅！！！惊现知乎新反爬
qq_44838668的博客
05-08 1154
重磅！！！惊现知乎新反爬 这两天使用selenium爬取知乎内容时，发现登录之后能正常访问知乎网站，但是，当搜索某一内容时，却出现了网络问题，刚开始以为是网络不稳定，连续试了几次之后，猜测这可能是一种新的反爬手段。 手动打开网页登录知乎并搜索关键字，能够正常访问。 通过selenium登录知乎访问失败 以上就是我最近发现的情况，如果爬虫大佬有解决办法，还请留言给小弟一点提示，认可这是一种新的反爬手段的爬虫人帮忙转发此博客，小弟在此谢过了。 ...
若川知乎高赞：有哪些必看的 JS 库？
u012384510的博客
11-26 239
欢迎星标我的公众号，回复加群，长期交流学习我的知乎回答目前2w+阅读量，270赞，现在发到公众号声明原创。必看的js库？只有当前阶段值不值看。我从去年7月起看一些前端库的源码，历时一年才...
知乎python爬虫源代码
07-17
### 回答1： Python爬虫源代码，是指使用Python编写的用于抓取互联网信息的程序代码。知乎是一个知识问答社区，许多人想要在知乎上抓取数据，因此有许多人编写了Python爬虫源代码用于抓取知乎的内容。 为了编写一个能够抓取知乎内容的Python爬虫，首先需要导入相应的库，例如requests库用于发送HTTP请求、BeautifulSoup库用于解析HTML页面等。然后，需要编写一系列函数来实现抓取知乎内容的具体功能。 首先，需要编写一个发送HTTP请求的函数，用于获取页面的原始HTML代码。利用requests库发送GET请求获取知乎页面的HTML代码。 接下来，需要利用BeautifulSoup库解析HTML代码，提取出需要的数据。可以使用BeautifulSoup提供的各种方法来定位和提取特定的标签、类名或其他属性的内容，如问题的标题、问题的描述、回答的内容等。 然后，可以编写一个保存数据的函数，将抓取到的知乎内容存储到本地文件或数据库中，以便后续的数据处理和分析。 另外，还可以编写一个循环函数，用于自动翻页并抓取更多的数据。通过观察知乎页面的URL结构，可以发现一个规律，根据这个规律来修改URL，实现翻页的功能。 最后，可以编写一个主函数，用于调用各个函数，实现整个爬虫的流程控制。 总结起来，知乎Python爬虫源代码就是用Python编写的用于抓取知乎内容的程序代码。这些代码包括发送HTTP请求、解析HTML页面、提取数据、保存数据以及实现翻页等功能。编写一个高效、稳定的爬虫源代码需要对Python编程基础和相关库的使用有一定的掌握程度，同时还需要了解HTML的基本结构和知乎页面的规律。 ### 回答2： 知乎是一个知识分享社区，而Python爬虫是一种通过编写代码自动从网页上提取信息的技术。因此，知乎的Python爬虫源代码可以理解为使用Python编写的用于从知乎上获取信息的代码。 一般来说，编写知乎爬虫源代码需要以下步骤： 1. 导入所需的库：首先，我们需要导入Python的相应库，比如requests用于发送HTTP请求，BeautifulSoup用于解析网页等。 2. 发送HTTP请求获取网页内容：使用requests库发送HTTP请求，获取知乎网页的内容。 3. 解析网页内容：使用BeautifulSoup库解析网页内容，提取出我们需要的信息。可以通过查看网页源代码确定需要提取的信息所处的位置，并使用相应的标签和属性来进行定位和提取。 4. 存储提取的信息：将提取出的信息存储到合适的数据结构中，比如列表或字典，便于后续的处理和分析。 5. 处理分页：如果需要获取多页的信息，可以编写代码实现自动翻页，继续发送HTTP请求获取下一页的内容，并将提取出的信息追加到之前的数据结构中。 6. 数据持久化：将提取出的信息保存到文件或数据库中，以便后续的使用和分析。 需要注意的是，由于知乎对爬虫有一定的限制，我们在编写知乎爬虫时需要遵守相关的法律法规和知乎的使用规则，避免对知乎服务器造成过大的负担或侵犯他人的隐私。同时，为了增加程序的稳定性和可靠性，我们还可以添加异常处理机制，防止因网络问题或网页结构变化导致的程序崩溃。 总之，知乎的Python爬虫源代码主要包括导入库、发送HTTP请求、解析网页内容、存储提取的信息、处理分页和数据持久化等步骤。通过编写这样的代码，我们可以方便地从知乎上获取所需的信息，并进行分析、研究和应用。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值