某乎评论数据

已于 2023-06-18 18:50:15 修改
阅读量796 收藏
点赞数 2
分类专栏： 爬虫 JS逆向百例 文章标签： python js逆向 爬虫
于 2023-06-16 18:27:09 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/weixin_44327634/article/details/131252098
版权
本文详细介绍了如何分析和破解知乎评论数据接口的X-Zse-96加密参数，通过逆向工程获取翻页逻辑，并提供通用的CSV保存方法。内容包括加密参数分析、翻页实现、数据采集和存储的完整过程。
摘要由CSDN通过智能技术生成

文章目录


很久没有看评论接口了，最近运行了一下旧的脚本，发现不能用，应该是也加了X-Zse-96校验，本篇就试着解决评论采集问题。

声明

本文章中所有内容仅供学习交流，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关，若有侵权，请私信我立即删除！

目标网址

aHR0cHM6Ly93d3cuemhpaHUuY29tL3F1ZXN0aW9uLzI1MjU1MTg5L2Fuc3dlci8xMzEzMDIxNTE2

随便找一个问答的评论：
在这里插入图片描述

评论数据在rootcomment接口。

加密参数分析与首页测试

不出意外应该还是校验的X-Zse-96
在这里插入图片描述

先测一下：


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  冰履踏青云
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
JS逆向加密——某乎反爬x-zse-96

				
			

			

				

					含笑
				

				

					10-11
					
					950
					
				

			

		

		

			
				
抓包分析
这里用于学习分析某乎的搜索案例的加密参数

找到请求的数据，多次抓包请求，对比请求的参数以及动态变化的参数，然后携带参数去模拟请求
这里 主要是有个  x_zse_96 带带加密参数 需要我们去分析解密

加密参数分析
首先 浏览器全局搜索 加密的参数x-zse-96，会搜索出来 俩个位置，在这俩个位置都打上断点
然后刷新网页，看会在哪个断点断下

分析一下x-zse-96的由来和逻辑，截图和控制台有详解，最后再到 signature的地方 打上断点，进入函数里面是调试，看具体的加密逻辑
这里的 

			
		

	



                

              
                



	

		

			

				
					
以某乎为实战案例，教你用Python爬取手机App数据

				
			

			

				

					公众号：Python研究者
				

				

					03-20
					
					4704
					
				

			

		

		

			
				
1前言最近爬取的数据都是网页端，今天来教大家如何爬取手机端app数据（本文以ios苹果手机为例，其实安卓跟ios差不多）！本文将以『某乎』为实战案例，手把手教你从配置到代码一步一步的爬取A...

			
		

	



                


  
              

                


	

		

			

				
					
取出datatable的某一行_jquery dataTable 获取某行数据

				
			

			

				

					weixin_36255837的博客
				

				

					12-24
					
					2710
					
				

			

		

		

			
				
jquery dataTable 获取某行数据DataTable API table.row(rowSelector [，modifier]) 注table是dataTable的对象该方法有两个默认参数第一个是选择器 第二个是可选的请注意，如果选择器匹配多个行，则此方法将截断结果以仅包含一行，即第一个匹配的行。如果没有参数返回第一行。读取数据时用 table.row(rowSelector [，m...

			
		

	





	

		

			

				
					
腾讯新闻评论数据爬取

				
			

			

				

					走在前往架构师的路上
				

				

					05-17
					
					6982
					
				

			

		

		

			
				
前言
鉴于最近在做观点挖掘的相关工作，观点的数据源是网络评论数据，于是第一个想到的就是新闻观点数据，一个热门的新闻可能一晚上就会有上万条评论，所以如何分析并利用好这些评论信息，将会是一件非常有意思的事情，观点挖掘是我研究的目的，当然要想很好解决这个问题，所以我自然要解决数据源的问题，于是乎，我就想到了去爬取腾讯新闻的评论数据。下面我会介绍一下这个过程，这个过程还是非常有意思的哦。
为什么爬的是

			
		

	



		

			
		



	

		

			

				
					
某人均月薪十万社交平台数据问题采集分析-某乎_社交平台数据采集技术

				
			

			

				

					m0_61549740的博客
				

				

					05-14
					
					852
					
				

			

		

		

			
				
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

			
		

	





	

		

			

				
					
用python抓取某乎app端数据

				
			

			

				

					qq_53431617的博客
				

				

					08-08
					
					778
					
				

			

		

		

			
				
1前言最近爬取的数据都是网页端，今天来教大家如何爬取手机端app数据（本文以ios苹果手机为例，其实安卓跟ios差不多）！本文将以『某乎』为案例，手把手教你从配置到代码一步一步的数据！2配置抓包工具。

			
		

	





	

		

			

				
					
以某乎为实战案例，教你用Python爬取手机App数据!居然有人说爬不了APP！

				
			

			

				

					爬遍所有网站
				

				

					06-26
					
					6697
					
				

			

		

		

			
				
最近爬取的数据都是网页端，今天来教大家如何爬取手机端app数据（本文以ios苹果手机为例，其实安卓跟ios差不多）！

本文将以『某乎』为实战案例，手把手教你从配置到代码一步一步的爬取App数据！

2、配置抓包工具

1.安装软件

【资料领取】本文选择的抓包工具：Fiddler

具体的下载安装这里不详细赘述！（网上搜Fiddler安装，一大堆教程），本文以实战为例，就不再这里浪费时间了！

2.配置Fiddler

安装好之后，接下来就开始配置Fiddler工具（这里是关键，仔细阅读！）

配置Con

			
		

	





	

		

			

				
					
数据湖 data lake

				
			

			

				

					liweiminlining的专栏
				

				

					08-25
					
					5221
					
				

			

		

		

			
				
本文目录：一、什么是数据湖二、数据湖的发展三、数据湖有哪些优势四、数据湖应该具备哪些能力五、数据湖的实现遇到了哪些问题六、数据湖与数据仓库的区别七、为什么要做数据湖？区别在于？八、数据湖挑战九、湖仓一体十、目前有哪些开源数据湖组件十一、三大数据湖组件对比一、什么是数据湖数据湖是一种不断演进中、可扩展的大数据存储、处理、分析的基础设施；以数据为导向，实现任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期管理；并通过与各类外部异构数据源的交互集成，支持各类企业级应用。用架构图

			
		

	





	

		

			

				
					
jsvmp-某乎 x-zes-96 算法还原

				
			

			

				

					zhoumi_
				

				

					09-02
					
					3291
					
				

			

		

		

			
				
jsvmp-某乎 x-zes-96 算法还原

			
		

	





	

		

			

				
					
【JS逆向系列】某乎x96参数3.0版本与jsvmp进阶

				
			

			

				

					zjq592767809的博客
				

				

					09-11
					
					8644
					
				

			

		

		

			
				
【JS逆向系列】某乎x96参数3.0版本与jsvmp进阶

			
		

	





	

		

			

				
					
某乎问题下回答数据集 CSV

				
			

			

				

					07-09
				

			

		

		

			
				
【华中农业大学黄某若教授被课题组十一名成员联合举报学术造假】的回答数据集，字段包括：  'question_title': [], # 问题描述  'question_url': [], # 问题链接  'question_create_time': [], # 问题创建时间  '...

			
		

	





	

		

			

				
					
基于Python+Flask+MySQL的数据微中台，支持数据库管理、数据收集（某乎爬虫等）等

					
最新发布

				
			

			

				

					09-16
				

			

		

		

			
				
基于Python+Flask+MySQL的数据微中台，支持数据库管理、数据收集（某乎爬虫等）等功能_Mini_Data_Middle_Plateform

			
		

	





	

		

			

				
					
基于Python+Flask+MySQL的数据微中台，支持数据库管理、数据收集（某乎爬虫等）等功能.zip

				
			

			

				

					04-22
				

			

		

		

			
				
自1998年首次发布以来，MySQL以其卓越的性能、可靠性和可扩展性，成为全球范围内Web应用程序、企业级解决方案以及其他各种数据处理场景的首选数据库平台之一。  以下是对MySQL数据库的详细介绍： 核心特性与优势 ...

			
		

	





	

		

			

				
					
JS逆向之企名科技

					
热门推荐

				
			

			

				

					自成背后的博客
				

				

					07-02
					
					3万+
					
				

			

		

		

			
				
文章目录1. 初步分析2. 尝试定位加密js
1. 初步分析
目标网址：企名科技
抓包分析，发现是post请求

post携带的参数并没有进行js加密，可以写代码测试一下;
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import requests

headers = {
    'Connection': 'keep-alive',
    'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="9

			
		

	





	

		

			

				
					
想下载B站视频却不知如何下手？一文教你爬B站！

				
			

			

				

					自成背后的博客
				

				

					11-13
					
					1万+
					
				

			

		

		

			
				
文章目录初级版本改进版本升级版本最终加强版本
初级版本
首先，我们先试着实现爬取一个视频保存到本地，随便在哔哩哔哩网站找一个视频，如我找的一个链接：https://www.bilibili.com/video/BV1Sz4y1Z7g9?from=search&seid=7693898795687978846
右键检查，点击network抓包，点击播放：

我们会看到很多的数据包，经过尝试分析我们点开带30280，会看到response响应部分就是很多我们看不懂的编码二进制数据，实际上30280数据包

			
		

	





	

		

			

				
					
requests模块的使用详解

				
			

			

				

					自成背后的博客
				

				

					10-04
					
					6874
					
				

			

		

		

			
				
文章目录为什么要重点学习requests模块，而不是urllibrequests模块发送简单的get请求、获取响应使用requests保存图片发送带header的请求url 带参数的两种请求方式使用requests发送POST请求代理ip的使用爬虫中使用cookie
为什么要重点学习requests模块，而不是urllib

requests的底层实现就是urllib
requests在python2 和python3中通用，方法完全一样
requests简单易用
Requests能够自动帮助我们解压(gz

			
		

	





	

		

			

				
					
数据提取之jsonpath

				
			

			

				

					自成背后的博客
				

				

					11-08
					
					5058
					
				

			

		

		

			
				
文章目录爬虫中数据的分类
爬虫中数据的分类
在爬虫爬取的数据中有很多不同类型的数据,我们需要了解数据的不同类型来有规律的提取和解析数据。

结构化数据：json，xml等
处理方式：直接转化为python类型


非结构化数据：HTML
处理方式：正则表达式、xpath等



...

			
		

	





	

		

			

				
					
滑块验证码处理

				
			

			

				

					自成背后的博客
				

				

					12-04
					
					4801
					
				

			

		

		

			
				
文章目录1. 进入网站，判断是否成功加载2.  点击嵌入式，使网页向下滚动3. 获取网页源代码，用正则取出验证码背景和验证码滑块图片的链接并保存到本地4.最最重要的一部分——识别图片滑块缺口位置，计算移动距离5. 规划移动轨迹
目前只找到用selenium自动化模拟人的行为过滑块验证的解决方案，selenium并不是python的专属，我查了一下java也有，参考
使用java + selenium + OpenCV破解网易易盾滑动验证码
查了很多博客代码大多都失效了（我没有找到一个可以用的），下面是我自己

			
		

	





	

		

			

				
					
Python爬虫：豆瓣电影评论数据爬取与词云分析

				
			

			

				

					
				

			

		

		

			
				
这篇论文主要探讨了如何使用Python进行网络爬虫技术来获取豆瓣电影评论，并通过词云图的形式展示这些评论数据。作者选择了鲁东大学2020-2021学年的网络编程课程设计作为背景，目标是爬取豆瓣网上的电影评论，为自然...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
冰履踏青云

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值