使用Java抓取指定CSDN博文的文章信息

最新推荐文章于 2021-11-03 18:58:59 发布
最新推荐文章于 2021-11-03 18:58:59 发布
阅读量952 收藏 1
点赞数
分类专栏： Java程序设计 算法设计与分析 文章标签： Java 网页数据抓取 CSDN博文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43145361/article/details/92401853
版权

简介

在之前的文章 《使用Java 抓取 CSND 中指定博主的所有文章列表》中，介绍了使用Java抓取文章的标题和链接信息。今天，又将应用推进了一步：指定网页，抓取文章信息，如下所示：

92120238	使用Java 抓取 CSND 中指定博主的所有文章列表	郝老师（安徽理工大学）	2019/6/16 8:00	61	https://blog.csdn.net/weixin_43145361/article/details/92120238	Java|抓取文章列表|CSDN博客|null|null
92053874	Java多线程安全的三大特性之原子性	郝老师（安徽理工大学）	2019/6/15 7:29	38	https://blog.csdn.net/weixin_43145361/article/details/92053874	Java|多线程|三大特性|可见性|null
91969908	利用哈夫曼树进行编码压缩	郝老师（安徽理工大学）	2019/6/14 14:00	59	https://blog.csdn.net/weixin_43145361/article/details/91969908	哈夫曼编码|null|null|null|null
91827356	一个完整使用C#编写的CSV读写类	郝老师（安徽理工大学）	2019/6/13 12:00	37	https://blog.csdn.net/weixin_43145361/article/details/91827356	CSV|读写类|null|null|null
91796054	一个完整的Java版的分数类	郝老师（安徽理工大学）	2019/6/13 9:51	98	https://blog.csdn.net/weixin_43145361/article/details/91796054	Java|分数类|null|null|null
91490606	一个便于 Spire.XLS 操作的类 SpireXLSSheetHelper	郝老师（安徽理工大学）	2019/6/12 10:13	47	https://blog.csdn.net/weixin_43145361/article/details/91490606	EXCEL操作|Spire.XLS|null|null|null
91425505	在发布后 StackTrace和 StackFrame不工作的解决办法	郝老师（安徽理工大学）	2019/6/12 8:50	18	https://blog.csdn.net/weixin_43145361/article/details/91425505	StackTrace|StackFrame|不工作|null|null
91418906	Java多线程安全的三大特性之可见性	郝老师（安徽理工大学）	2019/6/11 11:33	22	https://blog.csdn.net/weixin_43145361/article/details/91418906	Java|并发|多线程可见性|null|null
90808168	在文件名中千万不要使用这些字符！	郝老师（安徽理工大学）	2019/6/4 19:26	28	https://blog.csdn.net/weixin_43145361/article/details/90808168	文件名|非法字符|null|null|null
90641313	分治法之并行计算（附多台机器测试结果）	郝老师（安徽理工大学）	2019/5/29 8:12	55	https://blog.csdn.net/weixin_43145361/article/details/90641313	分治法|并行计算|null|null|null
90578443	Java程序设计英语考试题目及答案（计算机16-1数字媒体）	郝老师（安徽理工大学）	2019/5/26 19:05	102	https://blog.csdn.net/weixin_43145361/article/details/90578443	Java试题一套|null|null|null|null
90294446	Java文件读写的性能测试（附源码）	郝老师（安徽理工大学）	2019/5/24 8:15	76	https://blog.csdn.net/weixin_43145361/article/details/90294446	Java?写文件测试|性能问题|null|null|null
(以下省去约150篇文章）

具体操作请参见源代码。但是这里有点需要指出，不知出于什么原因，2019年6月15日之前的文章，抓取都因为内容缺少无法抓取。修正的办法很简单，只要重要再发布一次即可，如下所示：
在这里插入图片描述

源代码

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.*;
import java.util.ArrayList;
import java.util.HashMap;

public class BlogAnalyzer {

	/**
	 * 文章类，用于保存文章信息。
	 * @author Administrator
	 *
	 */
	class Article {
		public String ID;
		public String url;
		public String title;
		public String author;
		public int readcount;
		public String time;
		ArrayList<String> keywords;
		ArrayList<String> categories;

		public Article() {
			keywords = new ArrayList<String>();
			categories = new ArrayList<String>();
		}

		@Override
		public String toString() {
			String info = String.format("%s\t%s\t%s\t%s\t%d\t%s\t", ID, title, author, time, readcount, url);

			String[] strs = new String[5];
			for (int i = 0; i < keywords.size(); i++)
				strs[i] = keywords.get(i);
			info += String.join("|", strs) + "\t";

			strs = new String[5];
			for (int i = 0; i < categories.size(); i++)
				strs[i] = categories.get(i);
			info += String.join("|", strs);

			return info;
		}
	}

	public static void main(String[] args) throws Exception {
		String username = "weixin_43145361";
		ArrayList<String> urls = new ArrayList<String>();

		// 程序暂时还没抓取页面的总页数信息，所以默认取100页，如果页面不存在，则结束循环。
		for (int i = 1; i < 100; i++) {
			try {
				ArrayList<String> ats = getArticles(username, i);
				if (ats.size() == 0)
					break;
				urls.addAll(ats);
			} catch (Exception e) {
			}
		}
 
		
		ArrayList<Article> ats = new ArrayList<Article>();
		
		for(String url : urls) {
			Article article = getArticle(url);
			if(article != null)
				ats.add(article);
		}

		// 获得所有分类
		HashMap<String, String> map = new HashMap<String, String>();
		for (Article at : ats)
			for (String cat : at.categories)
				map.putIfAbsent(cat, cat);

		// 显示所有分类
		for (String cat : map.keySet())
			System.out.print(cat + "\t");
		System.out.println();
		

		// 统计并显示所有已分类的文章
		for (Article article : ats) {
			String prefix = "";
			for (String cat : map.keySet())
				prefix += article.categories.contains(cat) ? "O\t" : "X\t";
			System.out.println(prefix + article);
		}
	}

	// 抓取文章信息
	static Article getArticle(String url) {
		try {
			String html = getWebpageContent(url);
			int start = html.indexOf("<span class=\"label\">个人分类：</span>");
			int end = html.indexOf("  <article class=\"baidu_pl\">");
			Article article = new BlogAnalyzer().new Article();
			article.url = url;
			article.ID = url.split("details/")[1];
			article.author = findWords(html, "var nickName = \"", "\"").get(0);
			article.title = findWords(html, "<h1 class=\"title-article\">", "<").get(0);
			article.readcount = Integer
					.parseInt(findWords(html, "<span class=\"read-count\">", "<").get(0).split(" ")[1]);
			article.time = findWords(html, "<span class=\"time\">", "<").get(0).replace("年", "/").replace("月", "/")
					.replace("日", "");
			article.keywords = findWords(html, "data-track-view='{\"mod\":\"popu_626\",\"con\":\"", "\"");
			article.categories = findWords(html.substring(start, end), "target=\"_blank\">", "<");

			return article;
		} catch (Exception e) {
			System.out.println(url);
		}
		return null;
	}

	// 从指定的开始和结果符中，抓取多个指定的数据信息。
	static ArrayList<String> findWords(String str, String start, String end) {
		ArrayList<String> keywords = new ArrayList<>();
		int p = 0;
		while (true) {
			p = str.indexOf(start, p + 1);
			if (p < 0)
				break;
			int endquote = str.indexOf(end, p + start.length());
			keywords.add(str.substring(p + start.length(), endquote).trim());
		}

		return keywords;
	}

	static void test() {
		// 博主的用户名称，可打开其任意一篇文章查看，如以下网址中 在blog.csdn.net之后的就是本博客的用户名称
		// https://blog.csdn.net/weixin_43145361/article/detals/92120238
		String username = "weixin_43145361";
		ArrayList<String> articles = new ArrayList<String>();

		// 程序暂时还没抓取页面的总页数信息，所以默认取100页，如果页面不存在，则结束循环。
		for (int i = 1; i < 100; i++) {
			try {
				ArrayList<String> ats = getArticles(username, i);
				if (ats.size() == 0)
					break;
				articles.addAll(ats);
			} catch (Exception e) {
			}
		}

		// 输出，每个字符的内容即为 编号:[标题](链接）
		for (String s : articles) {
			if (!s.contains("帝都的凛冬")) {// 不知道为什么文章列表中会有这篇文章，而且是文章列表每页都会有
				// 显示网址并测试是否正常
				System.out.printf("%s\t[%s](%s)\n", s.split("\t")[0], s.split("\t")[1], s.split("\t")[2]);// ,
				// getWebpageContent(s.split("\t")[2]) == null ? "错误" : "正常");
			}
		}
	}

	// 核心的抓取算法在这个函数中，函数是按页来抓取文章列表的，所以函数参数有2个：用户名和页面编号
	static ArrayList<String> getArticles(String username, int pageNo) throws Exception {
		String url = String.format("https://blog.csdn.net/%s/article/list/%d?", username, pageNo);
		String content = getWebpageContent(url); // 抓取页面的内容
		ArrayList<String> articles = new ArrayList<>();

		// 根据观察，找到需要抓取的文章列表的范围
		int start = content.indexOf("<div class=\"article-list\">");
		int end = content.indexOf("</main>");

		// 如果没找到，返回
		if (start < 0 || end < 0)
			return articles;

		// 对数据进行筛选，移除空行。
		ArrayList<String> list = new ArrayList<String>();
		for (String line : content.substring(start, end).split("\n"))
			if (line.trim().length() > 0)
				list.add(line.trim());

		// 提取内容
		for (int i = 0; i < list.size(); i++) 
			if (list.get(i).contains("article/details/") && list.get(i + 1).contains("<span class")) 
				articles.add(list.get(i).split("\"")[1]);


		// 返回结果。
		return articles;
	}

	// 从指定网址获取网页的内容，返回为网站的HTML字符串。
	public static String getWebpageContent(String url) {
		try {
			URL u = new URL(url);
			HttpURLConnection conn = (HttpURLConnection) u.openConnection();
			conn.connect();
			BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "utf-8"));
			StringBuilder sb = new StringBuilder();
			String str;
			while ((str = br.readLine()) != null) {
				sb.append(str + "\n");
			}
			br.close();
			conn.disconnect();
			return sb.toString();
		} catch (Exception e) {
		}
		return null;
	}
}
郝伟博士
关注
专栏目录
CSDN直播BlOB视频流下载，JAVA实现下载直播视频
洛阳泰山的博客
12-22 3857
在网上找了更多，下载直播视频的博文，发现其办法都太过麻烦，于是我钻研了一下，成功实现用java下载直播视频到本地的办法。 原理直播视频进本原理，是将视频进行视频切片成多个几秒的小视频，其格式多为.ts文件或着.m2u8文件 下面以CSDN为例子讲解如何下载CSDN网站上的直播视频 1.打开直播视频页，按F12进入开发者模式，切换到Network, 用“m3u8”过滤请求，复制第二请求的 URL地址 放入代码中请求，得到的4K、高清、标清、流畅四种视频的请求源 用上个请求地址（截
java控制vnc_VNC 抓取远程桌面
weixin_36118752的博客
02-27 1616
VNC (Virtual Network Computing)是虚拟网络计算机的缩写。VNC 是一款优秀的远程控制工具软件，由著名的 AT&T 的欧洲研究实验室开发的。VNC 是在基于 UNIX 和 Linux 操作系统的免费的开源软件，远程控制能力强大，高效实用，其性能可以和 Windows 和 MAC 中的任何远程控制软件媲美。 在 Linux 中，VNC 包括以下四个命令：vncse...
JAVA爬虫挖取CSDN博客文章(续)
张翠山的博客
02-09 2536
前言之前写过一篇用jsoup爬取csdn博客的文章JAVA爬虫挖取CSDN博客文章 ，当时博主还在上一家公司实习，由于公司办公网络需要代理才能访问外网，那一篇的代码逻辑与代理密切相关，可能有些不熟悉jsoup怎么使用的朋友看了会感觉越看越糊涂，且当时以为爬取所有文章需要用到分页，可能会误导读者。所以今天再次整理那个篇博客的思路，在没有代理的网络的环境下实现代码功能。
Java获取CSDN博文数据
李晋江的博客
04-22 229
Java获取CSDN博文数据Java获取CSDN博文数据 Java获取CSDN博文数据 系统：Win10 IDE：IntelliJ IDEA 2020.3.3 JDK：1.8.0_271 最近在做一个小项目，需要将自己的CSDN的博文数据加到项目里做成可视化的，其实也就是将CSDN的数据可视化，存储到本地数据库里，然后换一套UI显示 CSDN博客数据展示： 本地化项目数据展示： 不过这里的前期数据都是我查看当天CSDN数据后，手动存储到数据库里去的，非常的不人性化。 所以这里想偷懒做到可以自动获取当
抓取csdn上的各类别的文章 （制作csdn app 二）
架构设计
04-12 353
转载请表明出处：http://blog.csdn.net/lmj623565791/article/details/23532797 这篇博客接着上一篇（Android 使用Fragment，ViewPagerIndicator 制作csdn app主要框架）继续实现接下来的功能，如果你想了解整个app的制作过程，你可以去看一下上一篇，当然如果你只对网页信息的抓取感兴趣，你可以直接阅读本篇博...
Java爬取CSDN博客
求知
03-18 644
最近由于要做一个关于技术博客搜索的搜索工具，我开始接触到了爬虫，因为Java学的比较精通（主要是有很多封装的工具包），写了一个小小的Demo，进入主题吧 参开博客链接 1. 请求的规则，我用的是Jsoup请求网页，它可以在请求时，按照你设置的规则来进行请求，所有要有一个请求规则类，PS：但是后面好像并没有什么用到规则的父类，一般请求都需要的package com.lg.po;import ja
通过java爬虫爬取CSDN和OSC博客
止境博客
11-14 372
1.根据CSDN文章类型获取对应类型的文章链接 public void searchCsdnUrl() throws IOException { // String[] Arr = {"ai","cloud", "db","career","game", "engineering","web", // "mobile", "iot","ops","f...
使用Java爬虫得到CSDN博客信息并保存(一)
wangquanjava的博客
11-03 365
1. 需求：       上一篇文章已经可以得到博客中的信息，这篇博客将示范把信息以txt文件的形式保存到本地 2.      代码实现： package cn.test12.WebRobot04; import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import ja
jsoup爬取分页文章信息
12-13
通过jsoup抓取分页的文章信息，通过循环访问下一页的url来进行获取，详细描述见博文http://blog.csdn.net/bbs_baibisen/article/details/78789118
Java爬虫之Webmagic爬取csdn文章
xiaoye的博客
11-03 667
一、背景介绍 本文是基于Webmagic提供的爬虫技术爬取的文章，虽然该技术已不再更新，但是现有的功能不影响正常使用，这点还是非常棒的，使用方面的问题直接看官方文档就行了，我这里只介绍个人爬取csdn的文章介绍。 官网中文文档地址是：http://webmagic.io/docs/zh/， github地址是： https://github.com/code4craft/webmagic。 适合对象：java开发人员或者已经在本地安装了java环境而又不想再安装python环境的人（本人没错了） 二、爬取C
抓取csdn的个人博客
04-14
爬取的是csdn中个人的博客管理的文章，用于个人的博客物理备份，使用说明见https://blog.csdn.net/qq_33564134/article/details/89297840
Java爬取CSDN博客源码
03-18
自己写的一个爬虫程序，有些许bug，但勉强能用，希望各位大神指教指教
java爬取csdn对应话题下所有图片
09-17
java爬取csdn对应话题下所有图片
抓取csdn上的各类别的文章 （制作csdn app 二）
青涩丶年华
03-06 762
这篇博客接着上一篇（Android 使用Fragment，ViewPagerIndicator 制作csdn app主要框架）继续实现接下来的功能，如果你想了解整个app的制作过程，你可以去看一下上一篇，当然如果你只对网页信息的抓取感兴趣，你可以直接阅读本篇博客。我会把app功能分解，尽可能的每篇之间的耦合度不会太高。 好了，开始进入正题。这篇内容我新建一个java项目实现，一方面jav
JAVA爬虫挖取CSDN博客文章
张翠山的博客
08-14 6099
开门见山，看看这个教程的主要任务，就去csdn博客，挖取技术文章，我以《第一行代码–安卓》的作者为例，将他在csdn发表的额博客信息都挖取出来。因为郭神是我在大学期间比较崇拜的对象之一。他的csdn首页如下:http://blog.csdn.net/guolin_blog,首页如图:你需要掌握的技术有：java se，正则表达式，js dom编程思想，jsoup，此外还需要http协议的一些知识。
我用java爬了一下CSDN，发现了这些秘密。。。
架构师小秘圈
09-18 2587
大家好，我是大尧。今天我们使用Java语言写一个爬虫，用来爬取csdn首页推荐博客的博主，看看这些博主有多少人在写微信公众号。一、爬虫原理爬虫就是去请求某个url，然后将响应的页面进行解析...
利用python scrapy抓取csdn的文章
一个人要像一支队伍
02-21 1143
一、本文主要用到的工具。 1、sogou浏览器 2、pycharm 2018.2.3 3、scrapy 1.6.0 二、设置scrapy。 在settings.py中设置以下参数： USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0....
Java：爬虫爬取 CSDN 博客
simple的博客
07-13 1041
  上午弄了一篇 Python 爬取 CSDN 博客的文章：Python：爬取 CSDN 博客，突发奇想，使用 Java 也写了一套代码，没有使用任何框架。 // 注意，此处没有 package import java.io.File; import java.io.IOException; import java.io.PrintWriter; import java.net.Malforme...
Java爬虫实战：信息抓取与网页解析
"Java爬虫信息抓取的实现，通过Jsoup库进行网页解析" Java爬虫信息抓取是Web开发中的一个重要技能，它能够帮助我们自动化地从互联网上获取大量数据。在Java中，我们可以利用各种库来构建爬虫程序，其中Jsoup是一个...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值