dy,ks研究某短视频的数据采集

已于 2024-06-05 14:26:20 修改
阅读量146 收藏
点赞数 1
分类专栏： dy和__NS_sig3逆向分析app 文章标签： python 爬虫
于 2024-06-05 14:14:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49798336/article/details/139471079
版权
本文详细介绍了研究某短视频平台数据采集过程中遇到的参数加密问题，包括sig参数的MD5加密，__NStokensig参数的SHA256加盐加密，以及复杂度较高的__NS_sig3参数的hmac_sha256和AES算法解密。作者分享了研究过程和结果，指出无需登录即可获取数据。
摘要由CSDN通过智能技术生成
 1.写在前面

2.加密分析

3.算法还原

【💼作者介绍】：目前正在从事爬虫。一路走来长期坚守并致力于Python与爬虫领域研究与开发工作！有感兴趣的朋友可以相互学习交流。

最近研究某短视频的数据采集，发现在了其中有参数加密(sig,__NStokensig,__NS_sig3)

⚠️前言⚠️

本文仅用于学术交流。

学习探讨逆向知识，欢迎私信共享学习心得。

如有侵权，联系博主删除。

请勿商用，否则后果自负。

接口网址


                

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  叶落@神伤
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
解决某手短视频抓包工具抓不到问题

				
			

			

				

					纸鸢栀年°的博客
				

				

					11-05
					
					5571
					
				

			

		

		

			
				
解决某手短视频抓包工具抓不到问题解决某手短视频抓包工具抓不到问题代码python编写抓包结果
解决某手短视频抓包工具抓不到问题

通过hook该app的okhttp请求发现，该app走的quic协议，而抓包工具是抓不到quic协议的。所以我们只需要禁用quic相关的so文件即可。
代码python编写
import frida, sys
jscode = """
Java.perform(
    function () {
        var Aegon = Java.use('com.***.aeg

			
		

	



                

              
                



	

		

			

				
					
【Python爬虫从入门到进阶】小白也能看懂的知识要点与学习路线

				
			

			

				

					吴秋霖的博客
				

				

					01-26
					
					3947
					
				

			

		

		

			
				
Python爬虫技术从入门到精通指南！

			
		

	



                


  
              

                


	

		

			

				
					
快手__nsTokensig和sig签名算法分析

				
			

			

				

					q85913323的博客
				

				

					03-04
					
					8671
					
				

			

		

		

			
				
一、__nstokensig签名
最近在学习android逆向，不足之处欢迎大佬多多指点。
这次分析的是快手极速版1.2.2.8，使用Fiddler抓包发现有2个签名，一个是__nstokensig和sig。
通过jadx-gui搜索字符串找到nstokensig算法，只在java层

这里我就不继续往下跟e.a了，实际上他就是判断编码的操作。通过上面第一层发现，是传递str和str2进行签名，接...

			
		

	





	

		

			

				
					
Python爬虫开发入门

				
			

			

				

					12-11
				

			

		

		

			
				
课程介绍：大数据时代，python爬虫工程师人才猛增，本课程专为爬虫工程师打造，本课程是爬虫工程师的入门阶段，了解爬虫的领域，能做什么，爬虫原理，抓包工具的调教使用，每一个爬虫都会涉及到抓包，属于爬虫工程师的必备硬核技能，带你系统学习。课程精选多个实战项目，从易到难，层层深入。不同项目解决不同的抓取问题，带你从容抓取主流网站，进阶部分针对性讲解数据抓取的难点和面试考点，让你牢牢掌握爬虫工程师硬核技能  

			
		

	



		

			
		



	

		

			

				
					
快手sig3、sig、NStoken算法，附带测试用例

				
			

			

				

					06-08
				

			

		

		

			
				
快手的sig3、sig、NStoken 的三个python算法源码，快手、快手概念版、快手极速版都可以使用

			
		

	





	

		

			

				
					
某手sig __NStokensig定位

				
			

			

				

					as664870911的博客
				

				

					05-05
					
					210
					
				

			

		

		

			
				
Arguments nrd.g.f(b8d7c0b36a44f8c0b2602c090601366b, 64e6bb0afe327c08c1ab93128f313d36)  其中64e6bb0afe327c08c1ab93128f313d36 salt。12.3.40 版本。

			
		

	





	

		

			

				
					
dy、ks最新版通用quic协议解决方案

				
			

			

				

					jmm18363027827的博客
				

				

					10-22
					
					1989
					
				

			

		

		

			
				
由于最新版的两款短视频都使用了quic协议，这就导致爬虫小伙伴在抓包的过程遇到不能抓包的问题，这里提供他们quic协议所有版本的通用解决方案，使他们不使用quic协议，直接通过Charles抓包。由于不能透露app名字，dy、ks、那就按活跃度说吧。

			
		

	





	

		

			

				
					
【python】最新版抖音js逆向拿到数据，非常详细教程（附完整代码）

					
最新发布

				
			

			

				

					景天科技苑
				

				

					07-01
					
					2万+
					
				

			

		

		

			
				
抖音数据采集

			
		

	





	

		

			

				
					
“华为杯”研究生数学建模竞赛2019年-【华为杯】C题：视觉情报信息分析（续）（附Python代码实现）

				
			

			

				

					getusushu的博客
				

				

					11-30
					
					963
					
				

			

		

		

			
				
本文使用消隐点测距法进行单张图片距离的建模估计，该法的优点是通过消隐点与三维空间中的点通过代数代换获得平行线之间比例，从而以先验物品长度来计算出待测物品的长度，具有计算简单、计算准确的优点。任务一中的图像具有角度比较大，待测物体离镜头较远，容易通过先验知识估计物体尺寸的特点，角度比较大使得原图中平行线间角度较大，容易找到消隐点；并且待测物体离镜头较远，使用其他的代数代换方法会造成很大误差，所以消隐点测距法是一种特比适合本文任务的算法。而对于无人机测距任务，由于无人机没有。

			
		

	





	

		

			

				
					
卡尔曼滤波应用及其matlab实现

					
热门推荐

				
			

			

				

					Joey's Blog
				

				

					02-11
					
					14万+
					
				

			

		

		

			
				
线性卡尔曼滤波



卡尔曼滤波在温度测量中的应用

X(k)=A*X(k-1)+T*W(k-1) 
Z(k)=H*X(k)+V(k)

房间温度在25摄氏度左右，测量误差为正负0.5摄氏度，方差0.25，R=0.25。Q=0.01,A=1,T=1,H=1。

假定快时刻的温度值、测量值为23.9摄氏度，房间真实温度为24摄氏度，温度计在该时刻测量值为24.5摄氏度，偏差为0.4摄氏度。利用k-1...

			
		

	





	

		

			

				
					
快手NStokensig和sig全算法易语言源码

				
			

			

				

					08-08
				

			

		

		

			
				
__NStokensig ＝ kso.GetNStokensig (kso.GetSign (“commentId=123806186657&photoId=5217983133422862907&client_key=3c2cd3f3&token=6b165d04e92f475d9c4a55803582d463-275079014&os=android&sig=000e291e5338af281a6f4d3a87f9f49b”, “isp=CMCC&mod=xiaomi%28xiaomi%206%29&lon=116.41025&country_code=cn&kpf=ANDROID_PHONE&did=ANDROID_5449f8c64846fee0&kpn=KUAISHOU&net=WIFI&app=0&oc=MYAPP%2C1&ud=275079014&hotfix_ver=&c=MYAPP%2C1&sys=ANDROID_5.1.1&appver=6.1.0.8039&ftt=&language=zh-cn&iuid=&lat=39.916411&did_gt=1566466652526&ver=6.1&max_memory=192”), token_client_salt)

			
		

	





	

		

			

				
					
快手did设备注册,快手sig签名(sign解决,操作太快了，请稍微休息一下)

				
			

			

				

					01-08
				

			

		

		

			
				
快手签名计算分析，我们抓包看到sig签名字段，是post请求，32位MD5算法，把?后面的参数和post的参数一起排序，组合计算。
1.抓包参数
POST /rest/n/user/profile/v2? HTTP/1.1
Connection: close
Accept-Language: zh-cn
User-Agent: kwai-android
Content-Type: application/x-www-form-urlencoded
Host: apissl.gifshow.com
Accept-Encoding: gzip, deflate
client_key=5234234

			
		

	





	

		

			

				
					
sig啊r1.6.4

				
			

			

				

					02-20
				

			

		

		

			
				
sigar进行JAVA后台系统资源监控错误。java程序没找到sigar库所在路径造成的，需要把把sigar-x86-winnt.dll\sigar-x86-winnt.lib拷贝到java jdk的bin目录下

			
		

	





	

		

			

				
					
某手app，sig加密参数

				
			

			

				

					皮皮虾,我们走
				

				

					07-15
					
					3557
					
				

			

		

		

			
				
使用fiddler对某手app进行抓包，抓取到的请求结果如下：



其中，sig为某手app的签名校验，使用jadx全局搜索sig，只发现一处调用。



使用xposed进行hook查看方法调用，发现map是请求url的参数， map2为post请求参数。

a.b方法代码为：



sig加密逻辑大致如下：

1、把url中的参数放入map1中；
2、把表单中的参数放入map2中；
3、把m...

			
		

	





	

		

			

				
					
某手app端sig3、__NS_sig3、__NS_sig3算法测试

				
			

			

				

					小羊驼的博客
				

				

					01-17
					
					1426
					
				

			

		

		

			
				
解密服务已打包成jar文件，目文章主要讲解如何调用接口获取sig值。将解密服务上传到服务器并运行，或者使用本地环境运行项目。部署后运行项目，如果出现以下提示就说明部署成功，可以直接调用（记得开放端口）,访问地址为服务器的地址加端口。在语言模型中，编码器和解码器都是由一个个的 Transformer 组件拼接在一起形成的。方法取得的sig参数对上方部署的服务进行请求，即可得到。以上就是本次测试的全部流程，如有需要代码的可以联系我哦。

			
		

	





	

		

			

				
					
快手API签名算法

				
			

			

				

					weixin_33805557的博客
				

				

					04-09
					
					6952
					
				

			

		

		

			
				
快手的API接口都使用签名做了保护，API接口请求使用的是POST方法，签名是POST表单中的sig参数，我们看一下API请求的内容：
POST http://api.gifshow.com/rest/n/moment/tag/userTagList?app=0&kpf=ANDROID_PHONE&ver=6.2&c=GENERIC&mod=Xiaomi%28Mi%...

			
		

	





	

		

			

				
					
快手 sig(sign)签名算法 java版

				
			

			

				

					我家有个艳的博客
				

				

					03-05
					
					1万+
					
				

			

		

		

			
				
需求：想要获取快手短视频app的用户粉丝数声明：本博文只是作为研究学习用途，请不要用于非法、商业用途。写个帖子不容易，转载请说明出处，谢谢首先需要用Fidder抓包工具找到接口地址重点来了，快手所有的接口基本都用到了一个参数sig(数据签名)
声明：本博文只是作为研究学习用途，请不要用于非法、商业用途。
写个帖子不容易，转载请说明出处，谢谢
首先需要用Fidder抓包工具找到接口地址
这个过程省略...

			
		

	





	

		

			

				
					
快手分享链接,实战解析无水印视频源码

				
			

			

				

					Rs的博客
				

				

					06-06
					
					1万+
					
				

			

		

		

			
				
这个是我发现的源码解析,快手,




package blog.rs1314.cn.test;

import java.io.IOException;
import java.io.InputStream;
import java.net.URLDecoder;
import java.util.*;
import java.util.concurrent.Executors;
import...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
叶落@神伤

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值