目录
一、521返回分析和处理思路总结
- 浏览器访问网站时
- 第一次请求:返回521状态码和一段js代码。js会生成一段cookie并重新请求访问。
- 第二次请求:带着第一次得到的cookie去请求然后正确返回状态码200
- 让爬虫模拟浏览器的行为
- 将返回的 js 代码放在一个字符串中
- 利用execjs对这段代码进行解密,并调用js函数
- 得到cookie放入下一次访问请求的头部中
二、代码实现
2-1 安装必要依赖 - PyExecJS
目录
一、521返回分析和处理思路总结
- 浏览器访问网站时
- 第一次请求:返回521状态码和一段js代码。js会生成一段cookie并重新请求访问。
- 第二次请求:带着第一次得到的cookie去请求然后正确返回状态码200
- 让爬虫模拟浏览器的行为
- 将返回的 js 代码放在一个字符串中
- 利用execjs对这段代码进行解密,并调用js函数
- 得到cookie放入下一次访问请求的头部中
二、代码实现
2-1 安装必要依赖 - PyExecJS