java爬取笔趣阁魔道祖师小说

最新推荐文章于 2021-10-26 13:44:45 发布

啦啦啦灬

最新推荐文章于 2021-10-26 13:44:45 发布

阅读量1k

点赞数

分类专栏： java爬虫 DoubleC的博客

本文链接：https://blog.csdn.net/qq_41590294/article/details/100048884

版权

本文详细介绍了如何利用Java编程语言，结合网络爬虫技术，从笔趣阁网站上抓取《魔道祖师》的全部章节内容。通过HTTP请求，解析HTML页面，提取章节链接，并逐个下载文本，最终实现小说的完整爬取。过程中涉及到了网页解析、异常处理和文件存储等关键技术。

摘要由CSDN通过智能技术生成

@RequestMapping("biquge")
	@ResponseBody
	public void biquge() throws Exception {
		int i=1;
		String name="魔道祖师";
		long startTime = System.currentTimeMillis();
		//1. 确定首页URL: 魔道小说的第一章的URL
		String indexUrl = "https://www.biquge.cc/html/198/198351/1523696.html";
		String path="D:\\"+name+".txt";
		File file = new File(path);
		if(!file.exists()) {
			File dir = new File(file.getParent());
			dir.mkdirs();
			file.createNewFile();
		}
		//创建一个输出流,将爬到的小说以txt形式保存在硬盘
		BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(path)));
		while (true) {
			//2. 发送请求, 获取数据
			//2.1 创建httpClient对象
			CloseableHttpClient httpClient = HttpClients.createDefault();

			//2.2 设置请求方式
			HttpGet httpGet = new HttpGet(indexUrl);
			//2.3 设置请求参数 和请求头
			httpGet.setHeader("User-Agent",
					"Mozilla/5.0 (Windows NT 6.1; Win64;