用Node.js做一个GitHub爬虫

用Node.js写了一个爬虫,可以获取GitHub各种编程语言star数前十的库

在线地址: http://www.flypie.cn:9999/

GitHub地址：

• 前端 https://github.com/flypie2/gi...

• 后台 https://github.com/flypie2/gi...

技术栈

• 后端框架 koa

• 数据获取 axios获取数据 cheerio抓取数据

• 数据存储可选本地json存储或redis存储

• node-schedule 开启定时任务抓取数据并更新本地存储

• 前端用vue2.0和MintUI进行数据展示和操作

功能

我闲的没事的时候经常逛GitHub，看看现在star排行榜上靠前的库，
于是干脆做了一个小爬虫来定时抓取GitHub上star数前十的库，
然后根据编程语言进行选择浏览，功能很简单，大概做了一天时间。

主要时间都花在调试，因为GitHub防爬虫做的很好,
如果发送请求过多过快会被封或返回429错误(429表示请求过于频繁)。

最后放个项目截图: