python爬虫js逆向学习（一）

1.分析网站

以下以有道翻译网站为例介绍爬取时存在的问题

1.1 先进入网站进行访问，使用开发者工具抓包找出服务器返回的数据包的api

1.2 而后查看请求头，观察交互过程，请求方式为post，且部分Form Data进行了加密，i为需要翻译的输入内容，其他均不变

1.3 接下来用全局搜索寻找数据包的来源及formdata的出处，并找出可变参数的实现过程

1.4 在js代码中找出参数生成的过程，也可在浏览器控制台中调试生成代码

2.python代码实现

2.1 可变参数生成

import random
import time
from hashlib import md5
# ts:
# 时间戳：格林尼治时间（1970.1.1.00.00.00）到当下的总秒数
r=str(time.time()*1000)
# salt：
i=r+str(random.randint(0,10))
# sign:
sign=md5(("fanyideskweb" + word + salt + "Nw(nmmbP%A-r6U3EUn]Aj").encode()).hexdigest()

2.2 全部代码

import requests
import time
from hashlib import md5
import random

def main ():
	url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
	headers={
		'Cookie': '',
		'Host': 'fanyi.youdao.com',
		'Origin': 'http: // fanyi.youdao.com',
		'Referer': 'http: // fanyi.youdao.com /',
	    'User-Agent': ''}

	word=input("请输入需要翻译的文字：")
	timetemp=time.time()*1000
	salt=str(timetemp)+str(random.randint(0,10))
	temp="fanyideskweb" + word + salt + "Nw(nmmbP%A-r6U3EUn]Aj"
	sign=md5(temp.encode('utf-8')).hexdigest()
	data={
		'i':word,
		'from':'AUTO',
		'to': 'AUTO',
		'smartresult': 'dict',
		'client': 'fanyideskweb',
		'salt': salt,
		'sign': sign,
		'ts': timetemp,
		'bv': 'e3024dc52ff5c694b77471a08006ba92',
		'doctype': 'json',
		'version': '2.1',
		'keyfrom': 'fanyi.web',
		'action': 'FY_BY_REALTlME'
	}
	res=requests.post(url=url,headers=headers,data=data)
	print(res.json()['translateResult'][0][0]['tgt'])

if __name__=='__main__':
	main()

3.思路总结

3.1 首先找出获取数据的接口，查看浏览器与服务器的交互过程，试验得出formdata的规律；
3.2 根据接口名称进行全局搜索，取出异步执行的js代码，从中找出foredata的生成函数；
3.3 用python代码替换js代码生成参数。

js进一步学习见python爬虫js逆向学习（二）python爬虫js逆向学习（三）