js解析(js2py的使用,主要针对爬虫中,js运行模拟,并直接加载)

js解析分为三步:

1.定位;2.分析;3.模拟重现。

具体如下:

1.定位js文件:可以直接进行搜索。

2.分析js代码:了解js基本语法,找到主要部分(加密等)。

3.模拟重现:(1)使用第三方模块进行加载,js2py、pyv8等。(2)纯python实现。

(1)关于第三方模块的使用

js2py,主要是一个js的翻译工具

首先创建js执行环境

context = js2py.EvalJs()

然后加载js文件

headers = {}

big_js = request.get(url(js文件url), headers)

js2py加载(执行)

context.execute(big_js)

(2)纯python实现需要分析代码,明白变量的js运算,通过python进行实现。

hashlib使用。哈希算法作为一个去重的算法,对于一个比较长的字符串,可以砍到很短,比如一些比较长的url存储,可以利用hashlib算法来存储。

创建哈希对象:

md5 = hashlib。md5()

向哈希对象添加需要做哈希运算的字符串

md5.update(data.encode()) #data = ' ',已经在前面定义。

获取字符串的哈希值

result = md5.hexdigest()

未完。。。

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Single_minde

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值