本文仅供学习交流使用,请勿用于商业用途或不正当行为
如果侵犯到贵公司的隐私或权益,请联系我立即删除
网址: https://search.douban.com/book/subject_search?search_text=python&cat=1001
1. 经过抓包分析,数据经过加密,加密后的数据在网页源代码中,即window.DATA
2.谷歌开发者工具全局搜索window.DATA
3.打开console,输入Mt,测试浏览器中是否有Mt这个全局对象
可以看到没有任何提示,可以判定无此全局对象
4.对该js文件改写,使window对象有Mt这个属性,并保存到本地,命名为douban.js
5.fiddler设置自动响应, 重新访问https://search.douban.com/book/subject_search?search_text=python&cat=1001,替换该js文件
6.重新打开控制台,输入Mt,测试浏览器中是否有Mt这个全局对象
可以看出,Mt在浏览器中已经是全局变量
7.selenium访问,并用flask做服务端接口
# -*- coding:utf-8 -*-
from selenium import webdriver
from flask import Flask, request
from urllib import parse
options = webdriver.ChromeOptions()
options.add_argument('--headless') # 开启无界面模式
options.add_argument('--disable-gpu') # 禁用显卡
driver = webdriver.Chrome(options=options, executable_path='chromedriver')
driver.get('https://search.douban.com/book/subject_search?search_text=python&cat=1001')
app = Flask(__name__)
app.debug = False
def get_decrypt_data(encrypt_data):
js = """
var res = Mt.dispatch("{}");
return JSON.stringify(res);
""".format(encrypt_data)
decrypt_data = driver.execute_script(js)
return decrypt_data
@app.route('/get_decrypt_data', methods=['GET'])
def douban():
encrypt_data = parse.unquote(request.args.get("encrypt_data"))
decrypt_data = get_decrypt_data(encrypt_data)
return decrypt_data
if __name__ == '__main__':
app.run()
8.爬虫测试效果
# -*- coding:utf-8 -*-
import requests
import re
from urllib import parse
requests.packages.urllib3.disable_warnings()
for book_name in ['东野圭吾', 'python', 'java', '电影', '篮球', '足球']:
url = 'https://search.douban.com/book/subject_search?search_text={}&cat=1001'.format(book_name)
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
resp = requests.get(url=url, headers=headers, verify=False)
encrypt_data = re.findall('window.__DATA__ = "(.+?)"', resp.text)[0]
encrypt_data = parse.quote(encrypt_data)
decrypt_data = requests.get('http://127.0.0.1:5000/get_decrypt_data?encrypt_data={}'.format(encrypt_data)).text
print(decrypt_data)
可以看到,数据可以获取
9.总结
优点:只要能够定位到加密位置,可以在短时间内破解,避免抠代码的繁琐耗时
缺点:针对检测selenium的网站,该方法无法有效运行,比如抖音分享页signature的破解,该方法不适用
针对抖音分享页signature,仍可不用抠代码方式快速破解,下次分享