使用node.js写的爬虫Demo——爬取豆瓣电影Top250

一个用node.js写的爬取豆瓣电影top250的小demo，只爬取了电影名称、电影评分和电影图片，按页分文件夹存储到了本地

一、前言

Domo地址:https://github.com/GitWuJun/NodeDouBanSpider

最近在玩儿node.js,为了实践一下，写了个爬取豆瓣电影top250的小demo。之前用python写过几个简单的爬虫，python爬虫网上教程非常多，而且还有许多优秀的模块和成熟的框架加持，所以还是比较简单。而用node写爬虫相对来说就比较少了，node天生异步io效率非常的高其实还是比较适合写爬虫的，但对于node不熟的新手而言node因为天生优势的效率往往会带来很多的坑。原来只接触过java，对python了解一点，第一次接触node.js这种天生异步io的语言，它的效率的确非常的高，为了防止请求太过频繁或者请求速度过快导致被封ip等问题(目前爬豆瓣的数据还没这个问题)，demo的app2.js中还使用了一个async模块(下面会有介绍)来控制并发数量

二、说明

运行环境:node v8.11.3
使用的模块:url、http/https、cheerios、fs、async

demo主要分为app.js和app2.js,两个文件都可以爬取豆瓣电影top250的所有数据，主要区别在于app2.js中使用了async模块来控制爬取时候的并发数，并通过设置延时来控制爬取速度。
最终会将爬取得到的数据分文件夹保存到本地，包括电影图片和包含电影信息的json格式txt文件。

三、快速开始

Domo地址:https://github.com/GitWuJun/NodeDouBanSpider

git clone [email protected]:GitWuJun/NodeDouBanSpider.git

cd ./NodeDouBanSpider

npm install

node app.js 或者 node app2.js

四、使用了哪些模块

1.url

自带的解析url的模块