Express爬虫的实现

全局安装Express

$cnpm install express

快速搭建脚手架

$express myapp

安装使用 superagent 与 cheerio 完成简单爬虫

superagent(http://visionmedia.github.io/superagent/ ) 是个 http 方面的库，可以发起 get 或 post 请求。

cheerio(https://github.com/cheeriojs/cheerio ) 大家可以理解成一个 Node.js 版的 jquery，用来从网页中以 css selector 取数据，使用方式跟 jquery 一样一样的。

修改目录文件添加跨域请求配置

//app.js
app.all('*', function(req, res, next) {
   
  res.header("Access-Control-Allow-Origin", "*");
  res.header("Access-Control-Allow-Headers", "X-Requested-With");
  res.header("Access-Control-Allow-Methods",