node爬虫工具

1. superagent    （superagent是node里一个非常方便的、轻量的、渐进式的第三方客户端请求代理模块，用他来请求目标页面）  

   安装：  npm install superagent --save

2. nightmare      （自动化测试包，处理动态页面）

   安装： npm install nightmare --save

3. cheerio          （cheerio相当于node版的jQuery，用过jQuery的同学会非常容易上手。它主要是用来获取抓取到的页面元素和其中的数据信息）

   安装： npm install cheerio --save

4. puppeteer       （生成页面的屏幕截图和PDF。 爬取SPA（单页应用程序）并生成预渲染的内容（即“ SSR”（服务器端渲染））。  自动执行表单提交，UI测试，键盘输入等。  创建最新的自动化测试环境。使用最新的JavaScript和浏览器功能，直接在最新版                                   Chrome中运行测试。 捕获站点的时间线跟踪以帮助诊断性能问题。测试Chrome扩展程序。）

   安装： ①   npm config set puppeteer_skip_chromium_download = 1  

                     ②  npm i -S puppeteer