0：爬虫项目

什么是爬虫

本质上是一个Http客户端 , 和浏览器相比更为简单一些
我们根据需要构造请求,并且再根据需要简单的解析一下响应数据
爬虫的程序的优势就在于可以根据需要批量获取数据

---

这个项目爬取Github中的一个叫Awesome-Java 项目

在Awesome-java中能够看到很多的Java中开源第三方库还有框架
具体的再点进去可以看到项目中的具体信息(star , fork , open_issue)
我的爬虫程序就是收集这些项目的属性,衡量出这么一堆代码中,哪些项目比较活跃,受关注度高

我这个爬虫程序的最终需求就是,给awesome-Java这个项目中所有提及的GitHub上的项目按照活跃程度排座次

---

步骤:

1. 获取到所有待收集信息的项目列表
2. 遍历项目列表 依次获取到每个项目的主页信息 进一步就可以直到该项目的star数 fork数 issue数
3. 把这些数据存储到mysql中
4. 写一个简单服务器 来展示数据库中的数据(通过图标的形式 看到一个更直观的效果)

---