protobuf传输协议 万方数据平台

protobuf传输协议 万方数据平台

对于做数据抓取的人来说，想必很多人没遇到过这种请求体。

返回的数据则是这样：

首先抓包：
发现如下数据

顺藤摸瓜找到如下请求体

之后构建请求体得到


然后使用得到的参数对
url = “https://s.wanfangdata.com.cn/SearchService.SearchService/search”
发起post 请求得到如下数据：（如下数据是乱码）

编码后得到如下乱码：

最后经过反编译逆向：
得到如下数据：（这才是能正确解码的数据）

尝试解码其中一段：

print('解码结果：',b'\344\270\255\345\233\275\347\247\221\345\255\246\346\212\200\346\234\257\344\277\241\346\201\257\347\240\224\347\251\266\346\211\200'.decode('utf-8'))

因为外卖到了，就不写太详细了。
至此 protobuf 传输协议爬虫到此结束；
以上仅为个人观点，如有纰漏，请私我！
（2021/12/18 记录）