java网络爬虫-爬取小说

最新推荐文章于 2024-07-04 16:04:39 发布

程序小白_龙

最新推荐文章于 2024-07-04 16:04:39 发布

阅读量4.8k

点赞数 3

分类专栏： ----java net 网络编程----- 文章标签：网络爬虫正则表达式

本文链接：https://blog.csdn.net/Dragon_Dai_2017/article/details/78165333

版权

本文介绍了如何使用Java实现网络爬虫，以爬取《圣墟》小说为例，重点在于正则表达式的应用，通过抓取章节目录页获取各章节链接，再进一步爬取每个章节的内容。

摘要由CSDN通过智能技术生成

今天突然想写一个网络爬虫爬取一下我自己正在看的小说《圣墟》

小说网址:http://www.biqudu.com/43_43821/

大家也可以用这个去试一试爬取另外的小说。(主要就是写正则表达式,找规律)

我的思路:

1.找到小说章节目录的网址

2.在章节目录的网址中爬取每一章的网址

3.通过每一章的网页爬取每一章节的内容

下面是代码:

package cn.hncu.net.spider;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.junit.Test;

public class SpiderDemo2 {

	/**
	 * @param args
	 */
	public static void main(String[] args) {
		try {
			URL mulu=new URL("http://www.biqudu.com/43_43821/");
			BufferedReader br=new BufferedReader(new InputStreamReader(mulu.openStream()));
			BufferedWriter bw=new BufferedWriter(new FileWriter("abcde.txt"));
			
			String mainContextReg="<dt>《