axios做爬虫_Axios使用总结

一. 下图查看源码获得，表示axios网络请求后返回数据类型

1. AxiosResponse

经测试data表示获取的数据

二. 设置axios的请求配置

在创建axios时进行设置

三. 设置请求头(headers)在http的源码字段

四. 使用axios爬虫遇到问题

错误1：访问不安全的https网络

Error [ERR_TLS_CERT_ALTNAME_INVALID]: Hostname/IP does not match certificate's altnames: Host: www.100sht.info. is not in the cert's altnames: DNS:98ska.space, DNS:www.98ska.space

错误2：重定向次数超过上限

Error: Max redirects exceeded.

解决：

const instance =axios.create({//设置cookie，解决报错重定向超过最大值

//可以先浏览器访问那个要爬虫的网站，然后把cookie从headers从复制出来

headers: {'cookie': 'xxxxxxxxx'},//为了忽略https证书错误

httpsAgent: newhttps.Agent({

rejectUnauthorized:false}),

});