Jsoup爬取网络内容（包括图片文件），保存到本地和保存到数据库（一）

最新推荐文章于 2021-01-27 02:59:51 发布
最新推荐文章于 2021-01-27 02:59:51 发布
阅读量6.3k 收藏 3
点赞数
分类专栏： Java生态系列 文章标签： java 数据库 jdbc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pshdhx/article/details/109667421
版权

背景：

项目需要某个区县的天气数据，需要从中国气象局的官网中进行爬取。但是，中国气象局服务器调用接口返回的数据没有我想要的信息，比如说是未来24小时的天气温度，气压，风速等信息，这些数据接口中都没有，那么只能从页面中进行获取，所以使用了Jsoup，有一些信息是图片的形式返回，需要将图片下载下来存储到数据库中，用到的数据库是postgres数据库。工具类是Hutool和Jsoup

爬取的目标信息

target.xml

<div id=day0 class="clearfix pull-left">
    <div class="hour3 hbg">
        <div> 11:00 </div>
        <div class=hourimg>
            <img src="http://image.nmc.cn/assets/img/w/40x40/3/0.png">
            </div>
            <div> - </div>
            <div class=tmp_lte_20> 16.2℃ </div>
            <div> 1.7m/s </div>
            <div> 东北风 </div>
            <div> 1002.1hPa </div>
            <div> 56% </div>
            <div class=hide> 0% </div>
        </div>
        <div class="hour3 hbg">
            <div> 14:00 </div>
            <div class=hourimg>
                <img src="http://image.nmc.cn/assets/img/w/40x40/3/0.png">
                </div>
                <div> - </div>
                <div class=tmp_lte_20> 17.8℃ </div>
                <div> 1.8m/s </div>
                <div> 东北风 </div>
                <div> 1000.5hPa </div>
                <div> 50.5% </div>
                <div class=hide> 0% </div>
            </div>
            <div class="hour3 hbg">
                <div> 17:00 </div>
                <div class=hourimg>
                    <img src="http://image.nmc.cn/assets/img/w/40x40/3/0.png">
                    </div>
                    <div> - </div>
                    <div class=tmp_lte_15> 13.1℃ </div>
                    <div> 1.3m/s </div>
                    <div> 东风 </div>
                    <div> 1000.4hPa </div>
                    <div> 61.6% </div>
                    <div class=hide> 0% </div>
                </div>
                <div class="hour3 hbg">
                    <div> 20:00 </div>
                    <div class=hourimg>
                        <img src="http://image.nmc.cn/assets/img/w/40x40/3/0.png">
                        </div>
                        <div> - </div>
                        <div class=tmp_lte_10> 8.3℃ </div>
                        <div> 0.8m/s </div>
                        <div> 东风 </div>
                        <div> 1002hPa </div>
                        <div> 65.5% </div>
                        <div class=hide> 0.2% </div>
                    </div>
                    <div class="hour3 hbg">
                        <div> 23:00 </div>
                        <div class=hourimg>
                            <img src="http://image.nmc.cn/assets/img/w/40x40/3/0.png">
                            </div>
                            <div> - </div>
                            <div class=tmp_lte_10> 6.6℃ </div>
                            <div> 0.4m/s </div>
                            <div> 东南风 </div>
                            <div> 1001hPa </div>
                            <div> 71.7% </div>
                            <div class=hide> 10.1% </div>
                        </div>
                        <div class="hour3 ">
                            <div> 14日02:00 </div>
                            <div class=hourimg>
                                <img src="http://image.nmc.cn/assets/img/w/40x40/3/0.png">
                                </div>
                                <div> - </div>
                                <div class=tmp_lte_10> 6.2℃ </div>
                                <div> 0.5m/s </div>
                                <div> 南风 </div>
                                <div> 1000.5hPa </div>
                                <div> 81.9% </div>
                                <div class=hide> 10.9% </div>
                            </div>
                            <div class="hour3 ">
                                <div> 05:00 </div>
                                <div class=hourimg>
                                    <img src="http://image.nmc.cn/assets/img/w/40x40/3/1.png">
                                    </div>
                                    <div> - </div>
                                    <div class=tmp_lte_10> 7.8℃ </div>
                                    <div> 0.7m/s </div>
                                    <div> 南风 </div>
                                    <div> 1000.1hPa </div>
                                    <div> 93.6% </div>
                                    <div class=hide> 52.6% </div>
                                </div>
                                <div class="hour3 ">
                                    <div> 08:00 </div>
                                    <div class=hourimg>
                                        <img src="http://image.nmc.cn/assets/img/w/40x40/3/1.png">
                                        </div>
                                        <div> - </div>
                                        <div class=tmp_lte_10> 9.1℃ </div>
                                        <div> 0.9m/s </div>
                                        <div> 南风 </div>
                                        <div> 1000.3hPa </div>
                                        <div> 84.5% </div>
                                        <div class=hide> 61.4% </div>
                                    </div>
                                </div>

爬取的目标数据展示

建立实体类

TwentyFourHoursDomain.java

package com.imegaware.crawler.weatherForecast.psd;

import java.io.File;

/**
 * 24小时每隔三个小时需要的属性
 * @author pshdhx
 *
 */
public class TwentyFourHoursDomain {
	private String monitorTime; //未来监测时间
	private String url; //天气图标url ：http://image.nmc.cn/assets/img/w/40x40/3/0.png=晴天
	private File file; //天气图标url ：http://image.nmc.cn/assets/img/w/40x40/3/0.png=晴天
	private String rain; //降水 -
	private String temperature; //气温
	private String windSpeed; //风速
	private String windDirection; //风向
	private String airPressure; //气压
	private String humidity;//湿度
	private String url2; //本地url
	
	public String getUrl2() {
		return url2;
	}
	public void setUrl2(String url2) {
		this.url2 = url2;
	}
	public String getMonitorTime() {
		return monitorTime;
	}
	public void setMonitorTime(String monitorTime) {
		this.monitorTime = monitorTime;
	}
	public String getUrl() {
		return url;
	}
	public void setUrl(String url) {
		this.url = url;
	}
	
	public File getFile() {
		return file;
	}
	public void setFile(File file) {
		this.file = file;
	}
	public String getRain() {
		return rain;
	}
	public void setRain(String rain) {
		this.rain = rain;
	}
	public String getTemperature() {
		return temperature;
	}
	public void setTemperature(String temperature) {
		this.temperature = temperature;
	}
	public String getWindSpeed() {
		return windSpeed;
	}
	public void setWindSpeed(String windSpeed) {
		this.windSpeed = windSpeed;
	}
	public String getWindDirection() {
		return windDirection;
	}
	public void setWindDirection(String windDirection) {
		this.windDirection = windDirection;
	}
	public String getAirPressure() {
		return airPressure;
	}
	public void setAirPressure(String airPressure) {
		this.airPressure = airPressure;
	}
	public String getHumidity() {
		return humidity;
	}
	public void setHumidity(String humidity) {
		this.humidity = humidity;
	}
	@Override
	public String toString() {
		return "TwentyFourHoursDomain [monitorTime=" + monitorTime + ", url=" + url + ", file=" + file + ", rain="
				+ rain + ", temperature=" + temperature + ", windSpeed=" + windSpeed + ", windDirection="
				+ windDirection + ", airPressure=" + airPressure + ", humidity=" + humidity + "]";
	}
	
}

JdbcUtil.java

package com.imegaware.crawler.util;

import java.io.InputStream;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.Properties;

/**
 * 
 * @author pshdhx
 *
 */
public class JdbcUtil {

	private static String USERNAME;
	private static String PASSWORD;
	private static String DRIVER;
	private static String URL;

	static {
		loadConfig();
	}

	/**
	 * 加载数据库配置信息
	 */
	public static void loadConfig() {
		try {
			InputStream inStream = JdbcUtil.class.getClassLoader().getResourceAsStream("jdbc.properties");
			Properties prop = new Properties();
			prop.load(inStream);
			USERNAME = prop.getProperty("jdbc.username");
			PASSWORD = prop.getProperty("jdbc.password");
			DRIVER = prop.getProperty("jdbc.driver");
			URL = prop.getProperty("jdbc.url");
		} catch (Exception e) {
			throw new RuntimeException("读取数据库配置文件异常！");
		}
	}

	public JdbcUtil() {
		super();
	}

	/**
	 * 获取数据库连接
	 *
	 * @return
	 */
	public static Connection getConnection() throws RuntimeException {
		try {
			Class.forName(DRIVER);
			Connection connection = DriverManager.getConnection(URL, USERNAME, PASSWORD);
			return connection;
		} catch (Exception e) {
			throw new RuntimeException("无法获取数据库连接！", e);
		}
	}

	/**
	 * @Title close
	 * @Description 释放连接
	 * @author maven
	 * @param connection
	 * @param preparedStatement
	 * @param resultSet
	 * @return void
	 */
	public static void close(Connection connection, PreparedStatement preparedStatement, ResultSet resultSet) {
		if (resultSet != null) {
			try {
				resultSet.close();
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}
		if (preparedStatement != null) {
			try {
				preparedStatement.close();
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}
		if (connection != null) {
			try {
				connection.close();
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}
	}

	public static void close(PreparedStatement preparedStatement, ResultSet resultSet) {
		if (resultSet != null) {
			try {
				resultSet.close();
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}

		if (preparedStatement != null) {
			try {
				preparedStatement.close();
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}
	}

	public static void close(PreparedStatement preparedStatement) {

		if (preparedStatement != null) {
			try {
				preparedStatement.close();
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}
	}

	public static void close(ResultSet resultSet) {
		if (resultSet != null) {
			try {
				resultSet.close();
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}
	}

	public static void close(Connection connection) {
		if (connection != null) {
			try {
				connection.close();
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}
	}

}

ImageUtil.java

package com.imegaware.crawler.util;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
/**
 * 图片工具类
 * @author pshdhx
 *
 */
public class ImageUtil {
	// 读取本地图片获取输入流
    public static FileInputStream readImage(String path) throws IOException {
        return new FileInputStream(new File(path));
    }

    // 读取表中图片获取输出流
    public static void readBin2Image(InputStream in, String targetPath) {
        File file = new File(targetPath);
        String path = targetPath.substring(0, targetPath.lastIndexOf("/"));
        if (!file.exists()) {
            new File(path).mkdir();
        }
        FileOutputStream fos = null;
        try {
            fos = new FileOutputStream(file);
            int len = 0;
            byte[] buf = new byte[1024];
            while ((len = in.read(buf)) != -1) {
                fos.write(buf, 0, len);
            }
           fos.flush();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (null != fos) {
                try {
                    fos.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

爬取主类

TwentyFourHoursWeather.java

package com.imegaware.crawler.weatherForecast.psd;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.List;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.nodes.Node;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import com.imegaware.crawler.util.ImageUtil;
import com.imegaware.crawler.util.JdbcUtil;
import com.ruoyi.common.utils.StringUtils;

import cn.hutool.core.io.FileUtil;
import cn.hutool.http.HttpUtil;

/**
 * 利用jsoup爬取气象局未来24小时的天气情况，温度，湿度，降水，风速，风向，气压
 * @author pshdhx
 *
 */
public class TwentyFourHoursWeather {
	
	//图片存储到本地的路径
	private static String myurl = "/home/sdzw/JavaPaChong/ruoyi/imw-crawler/src/main/java/com/imegaware/crawler/weatherForecast/psd/";
	
	private static List<TwentyFourHoursDomain> getItemContent() {
		// TODO Auto-generated method stub
		Document doc ;
		List<TwentyFourHoursDomain> list = new ArrayList<>();
		try {
			doc = Jsoup.connect("http://www.nmc.cn/publish/forecast/ASD/zichuan.html").get();
			Element day0 = doc.getElementById("day0");
			
			for(int i=0;i<day0.childNodeSize();i++) {
				Node childNode = day0.childNode(i);
				//System.out.println(childNode.childNodeSize()+"--8个模块的子模块=需要的参数个数");
					TwentyFourHoursDomain pojo = new TwentyFourHoursDomain();
					pojo.setMonitorTime(StringUtils.trim(childNode.childNode(0).childNode(0)+""));
					String url = childNode.childNode(1).childNode(0).attr("src")+""; //网址
					long size = HttpUtil.downloadFile(url, FileUtil.file(myurl));
					//System.out.println("Download size: " + size);
					String[] split = url.split("[/]");
					File file = new File(myurl+split[split.length-1]);
					pojo.setFile(file);
					pojo.setUrl2(myurl+split[split.length-1]);
					//System.out.println(pojo.getUrl2()+"========"+"本地地址");
					pojo.setUrl(url);
					pojo.setRain(StringUtils.trim(childNode.childNode(2).childNode(0)+""));
					pojo.setTemperature(StringUtils.trim(childNode.childNode(3).childNode(0)+""));
					pojo.setWindSpeed(StringUtils.trim(childNode.childNode(4).childNode(0)+""));
					pojo.setWindDirection(StringUtils.trim(childNode.childNode(5).childNode(0)+""));
					pojo.setAirPressure(StringUtils.trim(childNode.childNode(6).childNode(0)+""));
					pojo.setHumidity(StringUtils.trim(childNode.childNode(7).childNode(0)+""));
				
				list.add(pojo);
			}
			saveData(list);
			
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		return list;
	}
	
	/**
	 * @Title saveData
	 * @Description 数据入库
	 * @author maven
	 * @param param
	 * @return
	 * @return int
	 * @throws SQLException
	 */
	private static void saveData(List<TwentyFourHoursDomain> list) throws RuntimeException {
		int rows = 0;
		PreparedStatement pstmt;
		FileInputStream in = null;
		try {
			Connection conn = JdbcUtil.getConnection();
			String sql = "INSERT INTO twenty_four_hour_weather(id,monitor_time,url,file,rain,temperature,wind_speed,wind_direction,air_pressure,humidity,region_name,region_code,task_time) VALUES (?,?,?,?,?,?,?,?,?,?,?,?,now());";
			pstmt = conn.prepareStatement(sql);
			for (int i = 0; i < list.size(); i++) {
				pstmt.setString(1, (i+100)*Math.random()*1000000+""+i+(i+10)*Math.random()*1000000);
				pstmt.setString(2, list.get(i).getMonitorTime()+"");
				pstmt.setString(3, list.get(i).getUrl());
				File file = list.get(i).getFile();
				in = ImageUtil.readImage(list.get(i).getUrl2());
				pstmt.setBinaryStream(4, in, in.available());
				pstmt.setString(5, list.get(i).getRain());
				pstmt.setString(6, list.get(i).getTemperature());
				pstmt.setString(7, list.get(i).getWindSpeed());
				pstmt.setString(8, list.get(i).getWindDirection());
				pstmt.setString(9, list.get(i).getAirPressure());
				pstmt.setString(10, list.get(i).getHumidity());
				pstmt.setString(11, "淄川区");
				pstmt.setString(12, "370302");
				pstmt.addBatch();
			}
			int[] x = pstmt.executeBatch();
			JdbcUtil.close(conn, pstmt, null);
			for (int i : x) {
				rows += i;
			}
			System.out.println("入库完成，共插入" + rows + "行数据");
		} catch (Exception e) {
			throw new RuntimeException("数据入库失败！", e);
		}
		
	}
	public static void main(String[] args) {
		TwentyFourHoursWeather test = new TwentyFourHoursWeather();
		List<TwentyFourHoursDomain> itemContent = TwentyFourHoursWeather.getItemContent();
		for(int i=0;i<itemContent.size();i++) {
			System.out.println(itemContent.get(i).toString());
		}
		System.out.println(itemContent.size());
	}
}

pom.xml

<dependency>
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.11.3</version>
</dependency>

<dependency>
			<groupId>cn.hutool</groupId>
			<artifactId>hutool-all</artifactId>
			<version>5.4.7</version>
</dependency>

功能实现截图：

 

pshdhx_albert
关注
专栏目录
jsoup爬取淘宝存入mysql_Java使用HttpClient和Jsoup爬取豆瓣小组的帖子并存入Mysql
weixin_33584986的博客
01-19 324
首先，确定要爬取的小组，本次以豆瓣的five组为例。因为是第一次用Java爬虫，所有采取了简答的暴力循环爬取的方法，以后有时间再继续改进。(不过也可能转到Python了)另外，本次尝试采用Spring boot开发。1、爬取所有的帖子的链接1.1、分析网页小组首页更多讨论，然后将地址栏的参数修改成0然后往后一直到最后，就是这个小组的全部帖子了，我们只需要将每一页的链接全部取出来，然后更新地址栏的s...
利用Jsoup抓取网络数据
chen19960724的博客
08-15 1913
一、了解Jsoup 作用：能够获取网络上的HTML文本内容，并解析HTML标签。 ①、获取HTML文档 1、获取String字符串中的HTML内容 方法： public static Document parse(String html); 示例一 public static Document parse(String html,String baseUrl); 示例二 返回值：Do
Java版网络爬虫，爬取校花网所有美女图片+Swing的贪吃蛇
11-26
Java版网络爬虫，爬取校花网所有美女图片 某校花网的美女排行榜，奶茶妹妹级别的颜值，全部下载到你的种子库
【java 我的爬虫日志(一)】jsoup+mysql+jenkins+maven将目标网站文章信息，爬虫下来，并整理存入数据库
深圳-雄少（XZee）
03-20 631
思路：（1）采用soup请求和分析html，并爬虫文章关键内容，存入mysql中； （2）采用maven将项目打成jar包；（3）采用jenkins进行定时构建和执行jar，并最终在数据库中获得所有爬虫下来的文章内容。   第一步：部署和配置Jenkins： 第二步：添加数据库结构： CREATE TABLE `plant_protection_dynamics` (   `id` i...
JAVA 利用Jsoup 在网络获取数据
PeicongHe的博客
02-10 2938
利用Jsoup可以更容易更快的获取数据下面我演示几个事例：
利用 jsoup 下载保存文件
dangerous_fire的专栏
03-18 6180
//Open a URL Stream Response resultImageResponse = Jsoup.connect(imageLocation).cookies(cookies).ignoreContentType(true).execute(); // output here FileOutputStream out = (new FileOutputStream(new ja
jsoup实现爬取一个完整的网站，并保存到本地
03-06
用jsoup实现爬取一个完整的网站，包含网站里的所有链接内容，会另存为html到本地，js和css文件也会保存到本地，可以直接在本地打开查看一个完整的网站。 eclipse项目，可以直接导入修改。 提供一个链接和保存爬取后的网页保存位置即可。
基于Springboot+Jsoup实现网上免费公开图片资源爬取
01-29
5. **结果存储**：将爬取到的图片信息（如URL、文件名、大小等）存储在数据库或文件中，方便后期检索和管理。 综上所述，通过Spring Boot和Jsoup的结合，我们可以构建一个高效、稳定的图片资源爬取系统，实现从网络...
Jsoup网络爬虫
03-15
5. **数据存储**：提取的数据通常需要保存在本地文件、数据库或其他存储介质中。根据具体需求，可以选择合适的数据格式（如CSV、JSON）和存储策略。 6. **错误处理**：网络爬虫可能会遇到各种问题，如网络连接失败...
这个是之前的升级版本。直接写入到数据库高德地图poi爬取
12-10
- **本地备份**：描述中提到也在本地保存了一份数据，这可能是为了防止数据库故障，或便于离线分析和开发环境使用。 综上所述，这个项目涵盖了Java爬虫技术、PostgreSQL数据库操作以及数据处理等多个IT领域的知识。...
基于java爬取网络图片并且保存到本地
06-06
基于java实现的爬虫图片，是我学习java来练练手的，java基础入门的学生可以考虑参考一下
jsoup如何爬取图片到本地
10-18
主要为大家详细介绍了jsoup如何爬取图片到本地，jsoup爬取网站信息，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
使用Jsoup，抓取整个网站(包括图片、js、css)
12-28
经过测试，可以抓取一个完整的网站，包括网站的图片、css、js等。同时根据网站目录，在本地生成相同目录。使用Jsoup+Java。下载之后，可以直接运行。
java抓取html中的图片
04-11
java的封装类，可以从指定网络地址，抓取地址中的网页，并分析抓取图片地址，下载到本地
java爬虫抓取图片
09-27
java爬虫抓取图片,单线程，代码简洁，适合新手使用，有问题的话可以来博主主页留言探讨，一起解决技术问题。
Java抓取起点小说输出到本地文件夹和数据库
白鸦的博客
10-02 1631
Java抓取起点小说输出到本地文件夹和数据库
Java爬虫--利用HttpClient和Jsoup爬取博客数据并存入数据库
微瞰技术的博客
09-15 5494
由于今日头条等头条类产品的出现，以今日头条为代表所使用的爬虫技术正在逐渐火热，在爬虫领域具有良好性能和较好效果的Python在最近一年的时间里逐渐火热起来，同时因为Python良好的数据分析和机器学习的能力，Python的应用越来越广泛。不过，今天我们要提到的是基于java 的简单爬虫，为使用java作为开发语言的人做一个参考。爬虫实现 HttpClient 是 Apache Jakarta C
jsoup爬取淘宝存入mysql_使用Java Jsoup爬取网页内容（存入本地并从本地读取）
weixin_39796752的博客
01-27 199
GetPageInfo 获取数据、存入本地、从本地读取数据import lombok.SneakyThrows;import org.jsoup.Connection;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import java.io.*;public class GetPageInfo {public static voi...
jsoup抓图
开发笔记
03-02 126
import org.jsoup.Jsoup;   import org.apache.commons.io.FileUtils;   import java.io.File;      Response request = Jsoup.connect(src).referrer(src)   .userAgent("Mozilla/5.0 (Windows NT 5.1; rv:2....
jsoup爬取动态页面图片
最新发布
06-07
以下是使用 Selenium WebDriver 和 Jsoup 爬取动态页面图片的示例代码： ```java import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.select.Elements; import org.openqa.selenium.By; ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值