使用java代码爬取网页（文字和图片都可）

最新推荐文章于 2024-08-13 03:11:52 发布

置顶

poor_poem

最新推荐文章于 2024-08-13 03:11:52 发布

阅读量2k

点赞数 2

分类专栏：笔记文章标签： java

本文链接：https://blog.csdn.net/an_aijiu/article/details/108261807

版权

本文介绍了一段利用Jsoup库爬取网页文字和图片内容的Java代码，内容包括下载jsoup的jar包，如何在IDEA中编写代码，以及爬取过程中需要注意的文件命名问题，以防止新爬取的内容覆盖旧文件。

摘要由CSDN通过智能技术生成

利用Jsoup爬取网页

该代码利用了jsoup去爬取网页，代码在网上搜罗而来，并将他们拼凑起来，实现了爬取1个网页上的文字、图片内容。并保存到本地文件夹中，如路径不存在，则新建文件夹

使用此代码需要下载jsoup的jar包
下载地址
也可以自己找其他地址去下载

代码编写工具：IDEA

注意：生成的文本文件名字可能为空，所以当你没有改名，就再一次去爬取另一个网站，文本内容将被新的文本覆盖，图片则不受影响

会修改的同学可以解决一下这个问题

package com.jiu.data.spiderCanUse;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import java.io.*;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.net.URLEncoder;
import org.jsoup.select.Elements;

public class getHtmlAll {
   

	// 指定文件保存路径为：E:/struct
	private static String path = "E:\\struct/";
	private static String filenameTemp;

	public static void main (String[] args) throws IOException {
   
		System.out.println("开始爬取网页内容...");
		// 如果指定的路径不存在，则创建
		File dir = new File(path);
		if (!dir.exists()) {
   
			dir.mkdirs();
		}

		//爬取文字内容
		final String url = "http://www.baidu.com";
		//爬取图片，上下的2个网站需要相同，确保爬的是同一个页面的内容
		Connection connection = Jsoup.connect("http://www.baidu.com");
		try {
   
			//先获得的是整个页面的html标签页面,输出到控制台
			Document doc = Jsoup.connect(url).get();
			String doc2 = doc.html();
			System.out.println(doc);

			//通过标签，获取正文标题
			Elements tit = doc.select("h2");
			String title = tit.text();
			System.out.println(