js逆向——origin/refer请求头反爬

今日受害网站：

https://www.regulations.gov/docket/FDA-2016-D-1399/document

最终目标：爬取该网站中的新闻摘要

首先打开网页，刷新一下，观察都返回了哪些数据

然后我们ctrl+f进行关键字搜索

 

进一步，只过滤含有document接口的请求

 

选择有数据的那个包(4.3KB)

 

右键》 copy as cURL cmd

我们使用python爬虫工具将cURL转为requests

爬虫工具库网址：https://spidertools.cn

 

然后复制生成的测试代码尝试在pycharm当中运行 

结果报错400，请求参数错误

这是因为网页转换的过程中，参数字符串出现了乱码

我们对照网页重新构造params即可

 

或者可以直接在url当中携带参数，这样就不用单独构造字典了（适用于参数固定的情况） 

我们去除一部分不必要的参数

保留有用的参数（当然都保留也行，我们主要是想看一下哪些参数会对爬虫进行检查）

 

新的参数：

headers = {
    "authority": "api.regulations.gov",
    "accept": "application/vnd.api+json",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Core/1.94.253.400 QQBrowser/12.6.5678.400",
    "x-api-key": "5F20SbTVakeYfU9i5gX1dxx96sw4KELUQxAHhcHa",
    "origin": "https://www.regulations.gov",
    "referer": "https://www.regulations.gov/",
    "accept-language": "zh-CN,zh;q=0.9"
}

我们注释掉x-api-key返回了403，这个参数是必不可少的，而且有可能是动态生成用于检测爬虫的

 

我们接连注释了好几个参数发现都不影响其实

 

但是如果将origin和refer同时注释就会报错403，说明这里是一个检测点，服务端需要判断客户端是不是点击链接进来的，如果直接请求会失败

 

下面就是最后一个参数x-api-key的分析了

我们直接搜索x-api-key的值看看它是静态/动态参数

结果发现是静态参数，那么我们就需要定位它在文件当中的位置

排除掉在请求头当中的目标之后，我们顺利找到静态参数在文件当中的位置

 

 

所以我们应当首先请求网页接口获取参数x-api-key

先爬取下来返回的document，也就是html文档

 

然后搜索关键字5f205b...观察其在响应文本当中位置的特征 

 

使用正则表达式提取出来静态参数x-api-key的值，为二次请求真正的摘要做准备

第一次请求的代码：

import re
import requests

headers = {
    "authority": "api.regulations.gov",
    "accept": "application/vnd.api+json",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Core/1.94.253.400 QQBrowser/12.6.5678.400",
    "x-api-key": "5F20SbTVakeYfU9i5gX1dxx96sw4KELUQxAHhcHa",
    "origin": "https://www.regulations.gov",
    "referer": "https://www.regulations.gov/",
    "accept-language": "zh-CN,zh;q=0.9"
}

# 第一次请求获取静态参数：x-api-key
doc_url = 'https://www.regulations.gov/docket/FDA-2016-D-1399/document'

response = requests.get(doc_url, headers=headers, timeout=10)
print("第一次请求状态码：", response)
print(response.text)
api_key = re.search(r"apiKey%22%3A%22(.*?)%22%2C%22", response.text).group(1)
doc_id = re.search(r"/(FDA.*?)/document", doc_url).group(1)
headers.update({"x-api-key": api_key})

第二次真正请求文档发现返回的是一个json串

 

我们解析相应的json串，拿到最终的摘要内容：

第二次请求代码如下：

# 第二次请求获取真正的文档内容
url = "https://api.regulations.gov/v4/documents"
params = {
    'filter[docketId]': doc_id,
    'page[number]': 1,
    'sort': '-commentEndDate'
}
response_doc = requests.get(url, headers=headers, params=params)
print("第二次请求状态码：", response_doc)
print(response_doc.text)
print('爬取到的摘要内容：')
for item in response_doc.json()['data']:
    abstract = item['attributes']['title']
    print(abstract)

最后附上本文所使用的完整代码：

import re
import requests

headers = {
    "authority": "api.regulations.gov",
    "accept": "application/vnd.api+json",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Core/1.94.253.400 QQBrowser/12.6.5678.400",
    "x-api-key": "5F20SbTVakeYfU9i5gX1dxx96sw4KELUQxAHhcHa",
    "origin": "https://www.regulations.gov",
    "referer": "https://www.regulations.gov/",
    "accept-language": "zh-CN,zh;q=0.9"
}

# 第一次请求获取静态参数：x-api-key
doc_url = 'https://www.regulations.gov/docket/FDA-2016-D-1399/document'

response = requests.get(doc_url, headers=headers, timeout=10)
print("第一次请求状态码：", response)
# print(response.text)
api_key = re.search(r"apiKey%22%3A%22(.*?)%22%2C%22", response.text).group(1)
doc_id = re.search(r"/(FDA.*?)/document", doc_url).group(1)
headers.update({"x-api-key": api_key})

# 第二次请求获取真正的文档内容
url = "https://api.regulations.gov/v4/documents"
params = {
    'filter[docketId]': doc_id,
    'page[number]': 1,
    'sort': '-commentEndDate'
}
response_doc = requests.get(url, headers=headers, params=params)
print("第二次请求状态码：", response_doc)
print(response_doc.text)
print('爬取到的摘要内容：')
for item in response_doc.json()['data']:
    abstract = item['attributes']['title']
    print(abstract)

以上就是本次js逆向的全部内容了，喜欢的朋友欢迎一键三连支持一下哦~🥰🥰