爬虫之JS解析，Python模拟JS代码运行。（附带模拟人人网登录案例）

最新推荐文章于 2024-04-26 19:13:06 发布

王涛涛.

最新推荐文章于 2024-04-26 19:13:06 发布

阅读量3.2k

点赞数 1

文章标签： python 爬虫模拟js 模拟人人网登录

本文链接：https://blog.csdn.net/WangTaoTao_/article/details/106605205

版权

六、JS解析

1.定位js文件

1.通过initiator定位到js文件
2.通过search搜索关键字定位到js文件
3.通过元素绑定的事件监听函数找到js文件，Event Listeners
注：三种方法不能保证每一种都能找到js文件，都试试

2.js代码分析，掌握加密步骤

可以加断点

3.模拟重现

1.通过第三方js加载模块直接加载js运行，js2py pyv8 execjs等

js2py模块，是一个js的发翻译工具，也是一个通过纯python实现的js解释器
js执行思路
- 1.在了解js内容和执行顺序后，通过python来完成js的执行过程，得到结果
- 2.在了解js内容和执行顺序之后，使用类似js2py的模块来执行js代码，得到结果
- 但是在使用python程序实现js执行的时候，需要观察js的每一个步骤，非常麻烦，所以更多时候我们会选择使用类似js2py的模块去执行js，接下来我们来使用js2py实现人人网登录参数的获取

具体实现

import js2py
import requests

# 创建js执行环境
context = js2py.EvalJs()


# 手机端的headers
headers = {
    "User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Mobile Safari/537.36"
}
# 先把js文件下载下来
big_js = requests.get("http://s.xnimg.cn/a85738/wap/mobile/wechatLive/js/BigInt.js",headers=headers).content.decode()
# 然后加载js文件
context.execute(big_js)
# 再调用这个函数
context.execute("setMaxDigits(130);")

人人网登录

import requests
import js2py
import json


def login():
    # 创建session对象
    session = requests.session()
    # 设置请求头
    session.headers={
        "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Mobile Safari/537.36"
    }
    # 发送获取公钥数据包的get请求  获取rkey
    response = session.get('http://activity.renren.com/livecell/rKey')
    # print(response.content.decode())
    # 创建n
    n = json.loads(response.content.decode())['data']
    # print(n)
    # 创建t
    t = {
        "password":"wangtaotao."
    }
    # 获取前置js代码
    rsa_js = session.get("http://s.xnimg.cn/a85738/wap/mobile/wechatLive/js/RSA.js").content.decode()
    bigint_js = session.get("http://s.xnimg.cn/a85738/wap/mobile/wechatLive/js/BigInt.js",).content.decode()
    barrett_js = session.get("http://s.xnimg.cn/a85738/wap/mobile/wechatLive/js/Barrett.js",).content.decode()


    # 创建js环境对象
    context = js2py.EvalJs()

    # 将变量和js代码加载到环境对象中执行
    context.execute(rsa_js)
    context.execute(bigint_js)
    context.execute(barrett_js)
    context.n = n
    context.t = t
    # 将关键js代码放到环境对象中执行
    pwd_js= """
        t.password = t.password.split("").reverse().join(""),
            setMaxDigits(130);
            var o = new RSAKeyPair(n.e,"",n.n)
            , r = encryptedString(o, t.password);
    
    """
    context.execute(pwd_js)
    # 获取加密密码
    # print(context.r)

    # 构建formdata
    formdata = {
        "phoneNum": "15041890905",
        "password": context.r,
        "c1": -100,
        "rKey": n["rkey"]
    }
    # print(formdata)
    # 发送post请求，模拟登录
    response = session.post('http://activity.renren.com/livecell/ajax/clog',data=formdata)

    # 验证
    print(response.content.decode())



if __name__ == '__main__':

    login()

2.纯Python重现

模拟有道翻译

'''
i: 人生苦短，及时行乐
from: AUTO
to: AUTO
smartresult: dict
client: fanyideskweb
salt: r.salt
sign: r.sign
ts: r.ts
bv: 7bf45b9559005ebb942310bf3549b33e
doctype: json
version: 2.1
keyfrom: fanyi.web
action: FY_BY_CLICKBUTTION
'''

import requests
import hashlib
import time
import random
import json


class Youdao(object):

    # 初始化
    def __init__(self,word):

        self.url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Mobile Safari/537.36",
            "Cookie": "OUTFOX_SEARCH_USER_ID=1455553639@10.108.160.19; JSESSIONID=aaac4QudHCU3F6FYn3d_w; OUTFOX_SEARCH_USER_ID_NCOO=1574171141.1067092; ___rl__test__cookies=1578465296973",
            "Referer":"http://fanyi.youdao.com/",
        }
        self.formdata = None
        self.word = word

    # 构建不固定的参数
    def generate_formdata(self):
        """
            ts: r = "" + (new Date).getTime(),
            salt: ts + parseInt(10 * Math.random(), 10),
            sign: n.md5("fanyideskweb" + e + i + "n%A-rKaT5fb[Gy?;N5@Tj")
        }
        
        """
        # 模拟时间戳
        ts = str(int(time.time() * 1000))
        # 模拟0-9随机数
        salt = ts + str(random.randint(0,9))
        # sign
        tempstr = "fanyideskweb" + self.word + salt + "n%A-rKaT5fb[Gy?;N5@Tj"
        md5 = hashlib.md5()
        md5.update(tempstr.encode())
        sign = md5.hexdigest()


        self.formdata = {
            "i": self.word,
            "from": "AUTO",
            "to": "AUTO",
            "smartresult": "dict",
            "client": "fanyideskweb",
            "salt": salt,
            "sign": sign,
            "ts": ts,
            "bv": "7bf45b9559005ebb942310bf3549b33e",
            "doctype": "json",
            "version": "2.1",
            "keyfrom": "fanyi.web",
            "action": "FY_BY_CLICKBUTTION",

        }

    # 发送post请求
    def get_data(self):
        response = requests.post(self.url,data=self.formdata,headers=self.headers)
        return response.content.decode()

    # 解析最后结果
    def parse_data(self,data):

        data = json.loads(data)
        return data["translateResult"][0][0]['tgt']


    # 运行
    def run(self):
        # url
        # headers
        # 构建Fromdata
        self.generate_formdata()
        # 发送请求，获取响应
        data = self.get_data()
        # 解析数据
        response_Data = self.parse_data(data)

        # 打印翻译结果
        print(response_Data)



if __name__ == '__main__':

    youdao = Youdao("人生苦短，及时行乐")
    youdao.run()

地址url去重
- url保存集合
- url 转换成hash保存
- 用布隆过滤器
文本内容去重
- 编辑距离
- simhash

王涛涛.

关注

1
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
爬虫之JS解析，Python模拟JS代码运行。（附带模拟人人网登录案例）

六、JS解析1.定位js文件1.通过initiator定位到js文件2.通过search搜索关键字定位到js文件3.通过元素绑定的事件监听函数找到js文件，Event Listeners注：三种方法不能保证每一种都能找到js文件，都试试2.js代码分析，掌握加密步骤可以加断点3.模拟重现1.通过第三方js加载模块直接加载js运行，js2py pyv8 execjs等js2py模块，是一个js的发翻译工具，也是一个通过纯python实现的js解释器js执行思路1.
复制链接

扫一扫