Java数据采集-5.获取CSDN个人博客列表（翻页-1）

最新推荐文章于 2021-08-05 21:56:45 发布

geekfly

最新推荐文章于 2021-08-05 21:56:45 发布

阅读量858

点赞数

分类专栏： Java爬虫文章标签： java 数据挖掘

本文链接：https://blog.csdn.net/tmaskboy/article/details/75578325

版权

Java爬虫专栏收录该内容

9 篇文章 3 订阅

订阅专栏

本博客继上篇，针对第一种翻页加载数据的方式，编写实际代码演示。
因第三讲以详细介绍如何解析各个节点，之后教程不在详细截图说明分析过程，可根据我使用的css规则，自行对比分析。

废话不多说，开始撸代码。

模拟Url请求，获取节点

String url = "http://blog.csdn.net/TMaskBoy/article/list/1";

Document document = Jsoup.connect(url) 
            .userAgent("ozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36") 
            .get(); 

Elements items = document.select("#article_list > div");
System.out.println(items.size());

获取id=article_list下的div子标签
注意 “>”的用法，有id时首选id作为选择器

解析总页数
上篇博客已经分析，此类型网页我们需要获取到总页数，然后循环所有的列表页。

//获取样例 69条 共7页
String page = document.select("#papelist > span").text();  

//使用正则表达式匹配总页数
Pattern pattern = Pattern.compile("(.*?)条 共(.*?)页");
Matcher matcher = pattern.matcher(page);  
int total_count = 0, total_page_number = 0;
if(matcher.find()){
    total_count = Integer.parseInt(matcher.group(1));
    total_page_number = Integer.parseInt(matcher.group(2));
}else{
    System.out.println("未获取到总页数！");
    System.exit(-1);
}
System.out.println(page);

上述代码使用正则表达式获取总页数和总记录数，也可以使用String的字符串查找和截取刷选。PS：我就是为了装逼才使用的正则表达式…

遍历所有的列表页

String url = "http://blog.csdn.net/TMaskBoy/article/list/";
for(int current_page = 1; current_page <= total_page_number; current_page++){
    System.out.println("-------------------第" + current_page + "页开始-------------------------");
    getData(url + current_page); //获取每一页的数据
    System.out.println("-------------------第" + current_page + "页结束-------------------------");
        }

解析列表页数据
本段代码即为上一段中的getData函数内容，获取每一个列表页，然后解析每一条数据，和第三篇博客相似，不在详细展示分析过程。对于零散的数据，此处使用正则表达式匹配，同样String截取也可以。

Document document = Jsoup.connect(url) 
                .userAgent("ozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36") 
                .get(); 

//获取列表所在位置
Elements items = document.select("#article_list > div");

//System.out.println(items.size());

//遍历每一个博客
for(Element item : items){
    //获取标题
    String title = item.select("h1 span a").text();

    //获取标题地址
    String href = "http://blog.csdn.net" + item.select("h1 span a").attr("href");

    //使用正则匹配其他数据  样例：2017-07-20 20:15 阅读(1) 评论(0)
    String other_info = item.select(".article_manage").text();

    Pattern pattern = Pattern.compile("(.*?) 阅读\\((.*?)\\) 评论\\((.*?)\\)");
    Matcher matcher = pattern.matcher(other_info);  
    String pubdate = "";
    Integer read_number = 0, comment_number = 0;
    if(matcher.find()){
        pubdate = matcher.group(1); //发布时间
        read_number = Integer.parseInt(matcher.group(2)); //阅读数 
        comment_number = Integer.parseInt(matcher.group(3)); //评论数
    }
}