2024年最新【app爬虫】某宝详情页《问大家》数据采集分析(2)

最新推荐文章于 2024-05-14 18:07:37 发布

2401_84166236

最新推荐文章于 2024-05-14 18:07:37 发布

阅读量683

点赞数 24

分类专栏：程序员文章标签：爬虫 javascript 前端

本文链接：https://blog.csdn.net/2401_84166236/article/details/138407351

版权

程序员专栏收录该内容

184 篇文章 0 订阅

订阅专栏

i 是上面固定参数中的 t,当前的时间戳

g是上面固定参数中的 appKey

c.data 是上面固定参数中的data


所以下一步要知道d.token是如何生成的


#### token的生成规则


还是使用在js资源文件中全局搜索token的方式，发现了相关的js代码

n.prototype.__getTokenFromCookie = function() {
    var a = this.options;
    return a.CDR && j(y) ? a.token = j(y).split(";")[0] : a.token = a.token || j(z),
    a.token && (a.token = a.token.split("_")[0]),
    o.resolve()
}


通过对这段js代码分析，发现token原来是从cookie中提取的:

_m_h5_tk=1632671ce1a89f17ac8d06525e4b5226_1555062955474


至此，全部的参数都已经知道生成规则了，接下来可以编写python代码请求数据了。


### sign 生成


关于sign的生成公式：


md5Hex(token&t&appKey&data)  
 如：md5Hex(“645d1f414d4914297dfaab40f3f76016 &1234&4272&{“itemNumId”:“1500011132496”}”)  
 sign=d2b2f818a03496b296b899a230c03abd


### 计算js

import threading
import js2py
import time
mutex = threading.Lock()
with open(r".\t.js", encoding=‘utf-8’) as f:
cx = f.read()

def get_sign(_m_h6_tk_first, appkey, data):
# ctx = execjs.compile(cx)
# sign_str = _m_h6_tk_first + “&” + time_dd + “&” + “12574478” + “&” + data
# sign = ctx.call(“get_sign_demo”, sign_str)
# print("sign : ", sign)
t = int(time.time() * 1000)
mutex.acquire()
context = js2py.EvalJs()
context.execute(cx)
sign_str = _m_h6_tk_first + “&” + str(t) + “&” + appkey + “&” + data
sign = context.get_sign_demo(sign_str)
mutex.release()
return sign, t


### 分析


作者采集了某款眼霜产品作为分析对象。


#### 数据展示


![在这里插入图片描述](https://img-blog.csdnimg.cn/b319350a6da04ed09d9dd6728bcd1ccc.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54ixcHl0aG9u55qE546L5LiJ6YeR,size_20,color_FFFFFF,t_70,g_se,x_16)


#### 词云分析


![在这里插入图片描述](https://img-blog.csdnimg.cn/90f6828e9a614147a650d9eaa581d669.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54ixcHl0aG9u55qE546L5LiJ6YeR,size_20,color_FFFFFF,t_70,g_se,x_16)  
 通过词云可以看出消费者对于眼霜这款产品关注的点有以下几个方面：  
 1、去黑眼圈的效果  
 2、使用的年龄段  
 3、淡化细纹的效果  


![img](https://img-blog.csdnimg.cn/img_convert/2dc68a0ecc41aa2a840c464b3eaa14f0.png)
![img](https://img-blog.csdnimg.cn/img_convert/b653d69beeb75efc23c5031997f806f7.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**