爬虫测试之无法爬取js动态生成的元素数据

cheerio模块抓取的是网页源代码（大部分的抓取数据都是这样的），因此  这里就抓取不到js动态生成的dom元素，查了很久，方法很少，大致是:

1.模拟js响应  请求url  直接获取json数据(注意：涉及到目标网站的请求验证(token,加密等)以及跨域)

2.还有一种是使用selenium   这个我也没接触过  具体就自己查吧（ps:毕竟本人也是萌新，而且我的重点不是这里，就暂时不深究啦）https://www.cnblogs.com/learnings/p/7772915.html

3.模拟浏览器发请求获取数据 ，自己构造请求头和参数，这里的请求头是重点  里面还包括cookie之内的东西 

4.使用puppeteer模块  由谷歌团队维护的  我后面的几个文章里面会用