nodejs 网络爬虫的一些模块记录

1. 使用request模块来get网页的内容
2. 使用cheerio模块来提取网页这种的数据
3. 使用async模块来简化异步流程控制
4. 使用debug模块来显示调试信息
5. 使用cron模块来定时执行任务
6. 处理uncaughtException异常

process.on('uncaughtException', function(err) {
	console.error('uncaughtException: %s', err.stack)
})

7.使用nodejs pm2进程管理器来启动程序
简单介绍
pm2是一个功能强大的进程管理器，通过pm2 start来启动nodejs程序，当该进程异常退出时，pm2会自动尝试重启进程，这样可以保证nodejs应用的稳定运行。同时pm2还可以很方便的查看其所启动的各个进程的内存占用和日志等信息
8. 处理gbk编码的网页用到的模块

• iconv模块
• gbk模块

持续更新中。。。