初学java爬虫，用jsoup爬晋江免费章节

最新推荐文章于 2024-08-30 16:07:08 发布

MervynLammm

最新推荐文章于 2024-08-30 16:07:08 发布

阅读量680

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/Rec_Mervyn/article/details/88774673

版权

这篇博客介绍了如何利用Jsoup这个Java库来爬取晋江文学城的免费章节。首先，定义了小说和章节的实体类，接着详细讲解了获取小说和章节信息的工具类实现。此外，还提供了设置代理、登录以及获取cookies的相关代码片段，以应对网络限制和身份验证需求。

摘要由CSDN通过智能技术生成

小说实体

public class Novel {
   
	String title;		//书名
	String author;		//作者
	List<Chapter> chapters;//章节
	String novelId;	//小说id
	String url;		//小说url

	public Novel(String novelId) {
   //构造函数
		this.novelId = novelId;
		this.url = NovelUtils.NOVEL_HOME_URL+novelId;
	}
	//getter、setter方法省略
}

章节实体

public class Chapter {
   
	String chapterNum;		//章节号
	String chapterTitle;		//章节名
	String url;	//章节地址
	boolean isVip;	//是否vip
	String content;	//小说内容
	
	//getter、setter方法省略
}

获取小说和章节工具类

public class NovelUtils {
   
	
	public final static String DOMAIN = "http://my.jjwxc.net";
	public final static String NOVEL_HOME_URL = "http://www.jjwxc.net/onebook.php?novelid=";
	public final static String USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586";
	private final static String FILE_ENCODING = "UTF-8";	//文件编码
	
	public static Novel getNovelInfo(Novel novel) {
   
		//小说首页dom
		Document doc = null;
		try {
   
			doc = Jsoup.connect(novel.getUrl())
					.timeout(5000)
					.header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8")//.header()设置头信息
					.header("Accept-Encoding", "gzip, deflate")
					.header("Accept-Language", "zh-CN,zh;q=0.9")
					.header("Cache-Control", "max-age=0")
					.header("Host", "www.jjwxc.net")
					.ignoreContentType(true)
					.ignoreHttpErrors(true)
					.userAgent(USER_AGENT)
					.get();
		} catch (IOException e1) {
   
			System.out.println("小说首页获取失败");
			e1.printStackTrace();
		}
		//小说名和作者名
		novel.setTitle(doc.getElementById("oneboolt").getElementsByTag("tbody").get(0).child(0).getElementsByTag("h1").get(0).text().trim());
		novel.setAuthor(doc.getElementById("oneboolt").getElementsByTag("tbody"