NodeJs request爬虫数据乱码解决方法

---

1.引入

本人初识小程序云开发与nodejs不久，文中可能存在错误说法和术语，欢迎指正。
最近写微信小程序云函数，需要用nodejs爬取一个网站的信息，但是结果是一个挺意外的乱码，在自己花费挺多时间下解决了，在此记录下来。

2.爬虫举例流程

1. 用fiddler抓取想要爬取的请求，得到原生的请求header和参数
   
2. 用nodejs的request模块写模拟请求的代码，把fiddler得到的header写入其中（用百度网址测试）
   
3. 运行后，返回的body却是乱码的
   
   用python代码爬取测试
   
   发现相同的代码，python却不会乱码

3.NodeJs乱码错误分析

在经过很多时间测试后，发现了nodejs乱码问题所在。是因为header中设置了

百度给出的解释

于是知道这个是所属浏览器的设置，而nodejs的request如果在header中设置gzip编码类型，就会出现乱码情况，也许是不支持吧。

4.解决方法

在nodejs代码中把Accept-Encoding置为空使用默认所支持的编码，就正常显示了

var request = require('request');
var header = {
     'Connection': 'keep-alive',
     'content-type': 'application/json',
     'Accept': '*/*',
     'Sec-Fetch-Site': 'cross-site',
     'Sec-Fetch-Mode': 'cors',
     'Sec-Fetch-Dest': 'empty',
    'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1 wechatdevtools/1.05.2204250 MicroMessenger/8.0.5 Language/zh_CN webview/',
}
request({
	url: 'https://www.baidu.com/',
	method: 'get',
	headers: header
}, function(error, response, body) {
	console.log(body)
});