四：数据存储之优化

在上一节数据存储中,我遍历了projects并且把数据存储到了数据库,但是时间有点长,这一节我们主要是分析并优化这个存储过程

步骤:

1. 获取到所有待收集信息的项目列表
2. 遍历项目列表 依次获取到每个项目的主页信息 进一步就可以直到该项目的star数 fork数 issue数
3. 把这些数据存储到mysql中
4. 写一个简单服务器 来展示数据库中的数据(通过图标的形式 看到一个更直观的效果)

---

一:获取到所有待收集信息的项目列表

---

二:遍历项目列表,依次获取到每个项目的主页信息,进一步就可以直到该项目的star数、fork数、issue数

---

三:数据存储之存储

public static void main(String[] args) throws IOException {
   
        Crawler crawler = new Crawler();
        //获取到待收集的项目列表
        String htmlBody = crawler.getPage("https://github.com/akullpp/awesome-java/blob/master/README.md");
        List<Project> projects = crawler.getProjectList(htmlBody);
        //遍历项目列表 依次获取到每个项目的主页信息 进一步就可以直到该项目的star数 fork数 issue数
        ProjectDao dao = new ProjectDao();

        for (int i = 0; i < projects.size() ; i++) {
   
            try {
   
                Project project = projects.get(i);
                System.out.println("正在爬 " + project.getName()+ "...");
                String repoName = crawler.getRepoName(project