用Jsoup爬取中国天气网的天气数据并存入数据库

最新推荐文章于 2021-06-16 14:28:46 发布
最新推荐文章于 2021-06-16 14:28:46 发布
阅读量653 收藏 10
点赞数 3
分类专栏： java Jsoup 文章标签： java 爬虫 后端 数据库 jdbc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45297376/article/details/107695826
版权

用Jsoup爬取中国天气网的天气数据并存入数

文章目录

1、Jsoup介绍

1.1 概念：

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

1.2功能：

  1. 从一个URL，文件或字符串中解析HTML；
  2. 使用DOM或CSS选择器来查找、取出数据；
  3. 可操作HTML元素、属性、文本；

1.3 流程图：

在这里插入图片描述

2、代码实现部分

2.1项目目录结构

在这里插入图片描述

2.2 实现类代码 weather.java

*package com.pojo;
/**
 * 实体类
 */
import lombok.Data;
import java.util.Date;
@Data
public class Weather {
    private String id;
    private String city;
    private String date;
    private String status;
    private String maxTem;
    private String minTem;
    private String wind;
    private String windLevel;
    private Date update_time;
    public String getId() {
        return id;
    }
    public void setId(String id) {
        this.id = id;
    }
    public String getCity() {
        return city;
    }
    public void setCity(String city) {
        this.city = city;
    }
    public String getDate() {
        return date;
    }
    public void setDate(String date) {
        this.date = date;
    }
    public String getStatus() {
        return status;
    }
    public void setStatus(String status) {
        this.status = status;
    }
    public String getMaxTem() {
        return maxTem;
    }
    public void setMaxTem(String maxTem) {
        this.maxTem = maxTem;
    }
    public String getMinTem() {
        return minTem;
    }
    public void setMinTem(String minTem) {
        this.minTem = minTem;
    }
    public String getWind() {
        return wind;
    }
    public void setWind(String wind) {
        this.wind = wind;
    }
    public String getWindLevel() {
        return windLevel;
    }
    public void setWindLevel(String windLevel) {
        this.windLevel = windLevel;
    }
    public Date getUpdate_time() {
        return update_time;
    }
    public void setUpdate_time(Date update_time) {
        this.update_time = update_time;
    }
    public Weather(String id, String city, String date, String status, String maxTem, String minTem, String wind, String windLevel, Date update_time) {
        super();
        this.id = id;
        this.city = city;
        this.date = date;
        this.status = status;
        this.maxTem = maxTem;
        this.minTem = minTem;
        this.wind = wind;
        this.windLevel = windLevel;
        this.update_time = update_time;
    }
    public Weather() {
        super();
    }
    @Override
    public String toString() {
        return "Weather{" +
                "id='" + id + '\'' +
                ", city='" + city + '\'' +
                ", date='" + date + '\'' +
                ", status='" + status + '\'' +
                ", maxTem='" + maxTem + '\'' +
                ", minTem='" + minTem + '\'' +
                ", wind='" + wind + '\'' +
                ", windLevel='" + windLevel + '\'' +
                ", update_time=" + update_time +
                '}';
    }
}*

2.3 解析网页 HtmlParseUtil.java

package com.util;

import com.pojo.Weather;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.net.URL;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.*;


public class HtmlParseUtil {
    //解析网页
    static String url = "http://www.weather.com.cn/weather15d/101271001.shtml";
    static int i = 0;

    public static void parseWeather() throws Exception {
        Document document = Jsoup.parse(new URL(url), 30000);
        Element element = document.getElementById("15d");
//        System.out.println(element.html());
        //获取所有li标签
        Elements elements = element.getElementsByTag("li");
        HashMap<Integer, Weather> hash = new HashMap<>();
        ListIterator<Element> listIter = elements.listIterator(1);

        while (listIter.hasNext()) {
            Element e1 = listIter.next();
            String date = e1.getElementsByClass("time").eq(0).text();
            String status = e1.getElementsByClass("wea").eq(0).text();
            String tem = e1.getElementsByClass("tem").eq(0).text();
            String wind = e1.getElementsByClass("wind").eq(0).text();
            String windLevel = e1.getElementsByClass("wind1").eq(0).text();


            String[] tems = tem.split("/");
            String maxTem = tems[0];
            String minTem = tems[1];
            Weather weather = new Weather();
            i++;

            weather.setDate(date.toString());
            weather.setStatus(status.toString());
            weather.setMaxTem(maxTem.toString());
            weather.setMinTem(minTem.toString());
            weather.setWind(wind.toString());
            weather.setWindLevel(windLevel.toString());
            hash.put(i, weather);
        }
        Set<Integer> keys = hash.keySet();
        for (Integer key : keys) {
            Weather value = hash.get(key);
            Connection conn = null;
            try {
                PreparedStatement ps = null;
                conn = datautils.getConnection();
                String sql = "insert into weather(`date`,`status`,`maxTem`,`minTem`,`updateTime`,`wind`,`windLevel`) values(?,?,?,?,?,?,?)";
                ps = conn.prepareStatement(sql);//预编译SQL，先写sql,然后不执行
//                ps.setInt(1,1);
                ps.setString(1, value.getDate());
                ps.setString(2, value.getStatus());
                ps.setString(3, value.getMaxTem());
                ps.setString(4, value.getMinTem());
                ps.setDate(5,new java.sql.Date(new Date().getTime()));
                ps.setString(6, value.getWind());
                ps.setString(7, value.getWindLevel());
                ps.executeUpdate();
                conn.close();
            } catch (SQLException e) {
                System.out.println("数据库访问失败");
                e.printStackTrace();
            }
            System.out.println(key + "," + value.toString());
        }
    }

    public static void main(String[] args) throws Exception, ClassNotFoundException, SQLException{
        parseWeather();
    }
}

2.4 连接数据库 datautils.java

package com.util;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
public class datautils {
    public static final String Driver = "com.mysql.jdbc.Driver";//驱动
    public static final String url = "jdbc:mysql://localhost:3306/weather?useUnicode=true&characterEncoding=utf8&useSSL=true";
    public static final String user = "root";
    public static final String password = "root";

    static {
        try {
            Class.forName(Driver);//加载jdbc驱动
        } catch (ClassNotFoundException e) {
            System.out.println("找不到驱动程序类，加载驱动失败！");
            e.printStackTrace();
        }
    }
    public static Connection getConnection() throws SQLException{
        Connection conn = DriverManager.getConnection(url,user,password);//Connection代表数据库
        return conn;
    }
}

2.5 引入依赖 pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.3.2.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com</groupId>
    <artifactId>weather</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>weather</name>
    <description>Demo project for Spring Boot</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jdbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-r2dbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-freemarker</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-security</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-thymeleaf</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web-services</artifactId>
        </dependency>
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.1.3</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>dev.miku</groupId>
            <artifactId>r2dbc-mysql</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.junit.vintage</groupId>
                    <artifactId>junit-vintage-engine</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>io.projectreactor</groupId>
            <artifactId>reactor-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.security</groupId>
            <artifactId>spring-security-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.7.3</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

注：后期需要做一些东西，所以引入的依赖比较多

3、效果图

3.1 用Jsoup爬取到的一部分数据

在这里插入图片描述

3.2 引入数据库

在这里插入图片描述
注：暂时还不齐全

4、过程中遇到的部分问题

–数据库连接不成功

4.1 MySQL问题

在写代码的过程中，由于自己还不会用mysql,就出现了一系列愚蠢的问题，不过在后来解决了。
具体问题：将MySQL换成了PHP，一时不知道自己新建的数据库去了那里，也打不开。
大致如此：经过排查，是PHP中数据库的密码错误，导致数据库打不开，所以一定要细心，保持navicathe 和php中数据库的密码一致。在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.2 IDEA与数据库的连接问题

4.2.1 jar包

需要将mysql-connector-java-5.1.44.jar引入项目结果的lib文件夹下，必不可少，可以是其他版本的在这里插入图片描述
在这里插入图片描述
最开始导入的时候不能进行分级，所以还需要再设置一下。
步骤：
在这里插入图片描述
在这里插入图片描述

然后点ok就行了。

4.2.2 使用IDEA连接数据库

1.使用JDBC API 连接和访问数据库，一般分为以下5个步骤

(1)加载驱动程序

(2)建立连接对象

(3)创建语句对象

(4)获得SQL语句的执行结果

(5)关闭建立的对象，释放资源
2.①这是数据库窗口页面，里面可以进行一切数据库操作
在这里插入图片描述
②点击Database,出现下面界面，按照顺序进行，进入设置
在这里插入图片描述
③设置好自己的数据库的相关内容在这里插入图片描述
点击Test Connection 后可能会出现下面的问题：
在这里插入图片描述
有三个解决方案：
可参考此博客：添加链接描述
最终结果是这样：
在这里插入图片描述
有待改进~~~///(v)\~~~

qq_45297376
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
用Jsoup爬取中国天气网的实时天气（空气质量、温度、相对湿度、降雨量、风力风向）
woyunhan123的博客
03-17 1939
1、Jsoup介绍 1.1、简介 ​ jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 1、2、Jsoup的主要功能 1）从一个URL，文件或字符串中解析HTML 2）使用DOM或CSS选择器来查找、取出数据 3）可操作HTML元素、属性、文本 注意：jsoup是基于MIT协议发布的，可放心使用于商业项目。 jsoup api 6个包提供用于开发jsoup应用程序的
1.天气预报数据爬取
qq_53897534的博客
06-30 1425
然后通过读取保存的csv文件的内容，通过气象站码获取返回的html文件，使用BeautifulSoup来进行解析，并将得到的结果保存csv文件，随后读取csv文件，将结果存储进mysql中，使用定时调度来进行定时执行。对于历史数据的爬取，由于上面的网站并没有提供历史数据，因此爬取的是另外的网站的数据，使用的也是selenium来开启多进程爬取，由于爬取速度太慢，并且年限太多，可以根据自己的需要去更改。首先需要通过接口返回的数据得到各个城市的气象站码，并保存csv文件。
js获取实时天气、温湿度
阿门阿窗一颗葡萄树
09-03 3386
效果图 通过和风天气的api获取天气跟温湿度； 1、去和风天气注册账号并申请免费开发key，免费开发的key可以拿到实时温湿度、三天温湿度预告，其余的都没有权限。 2、根据和风API获取你要拿的城市的id/经纬度，具体参照城市信息搜索API。 3、带着拿到的城市坐标/id 以及自己的key，请求获取天气、温湿度的API，具体参照天气预报和实况API。 4、注意，天气预报的接口拿不到相对湿度。 5、注意，和风天气有提供各种天气icon图，点击自取，天气实况的icon对应的就是图标名称 ...
js获取天气信息
wanshiwusanren的博客
06-16 2832
调用接口http://wthrcdn.etouch.cn/weather_mini?city=地址 注意：使用axios会直接请求失败，这边使用了jq的ajax （原因大概是axios没配置dataType: “text”） 请求出来的是gzip格式，会显示乱码，下方代码即可获取天气 var _this = this; $.ajax({ method: "GET", url: "http://wthrcdn.etouch.cn/weather_mini?city=焦作", headers: {
Jsoup爬取中国天气的简单实例
11-14
使用了Jsoup来进行中国天气网站的爬取分析，适合初学者学习。
SpringBoot中使用Jsoup爬取网站数据的方法
10-15
以下将详细介绍如何在SpringBoot应用中集成并使用Jsoup进行网站数据爬取。 首先，为了在SpringBoot项目中使用Jsoup，我们需要在`pom.xml`文件中添加对应的依赖。在给出的标签中，可以看到已经包含了Jsoup的依赖，...
jsoup爬取天气网各城市近七天天气情况存入数据库
05-15
总的来说，"jsoup爬取天气网各城市近七天天气情况存入数据库"这个项目，不仅涵盖了网络爬虫的基本技术，也涉及到了数据库管理和Java编程，对于提升编程技能和实战经验具有很大的帮助。通过实践，不仅可以巩固理论...
基于Jsoup的多线程java爬虫应用，爬取京东网商品信息并存入数据库。.zip
最新发布
03-08
在本项目中，我们主要探讨的是如何利用Java编程语言，结合Jsoup库构建一个多线程的网络爬虫，用于抓取京东网站的商品信息，并将这些数据有效地存储到数据库中。Jsoup是一个非常实用的Java库，它使得解析HTML文档变得...
Jsoup爬取网上文章动态产生TextView,ImageView
11-30
对于网上爬虫技术，爬取网上的文章，当事文章中有文章和图片，那应该怎样处理呢？？直接在xml布局文件用TextView，这是可以的，但是对于文章中的图片的很难处理。所以本文介绍的是动态生成TextView和 ImageView，即...
网站数据采集并存入数据库源码-易语言
06-12
【标题】"网站数据采集并存入数据库源码-易语言"所涉及的知识点主要集中在两个核心领域：网站数据采集（网络爬虫）和数据库操作。易语言是一种以中文编程为特色的编程语言，它简化了编程的过程，使得初学者也能快速...
纯JAVA中国天气网天气预报抓取解析存MYSQL程序（原创）
11-30
将中国天气网近六天（因为有些城市提供的接口只有五天数据，所以我暂时取5天，程序里依然是六天的标准）的天气情况抓取，用JSON解析，存入数据库，数据库是两张表，城市表和天气表。程序可以运行，两个表都能读入数据，城市表大致读入了423行数据，天气表大致读入了1800行数据。程序的缺点在于，暂时还没写注释，面向对象还未体现，没有实现每天定时抓取的性能，需要人工每天手动运行程序抓取数据。。。。。
HttpClient Jsoup爬取天气预报
04-14
NULL 博文链接：https://xdjava.iteye.com/blog/1743031
中国天气网城市code.sql
05-14
输入城市名称，根据名称查询code，类似http://www.weather.com.cn/weather/101210101.shtml 当中的code。
Scraper:使用 jsoup 的 Java 天气抓取工具
06-19
从weather.gov抓取天气信息的小型java应用程序 在 Eclipse 中使用 java 和 jsoup。 试图学习一些关于 webscraping 和 html 的知识。
java简单查询天气
07-23
java简单查询天气，输入天气即可查询三天内的天气情况
使用python获取天气网页上的内容，并存入数据库
Aaronszh的博客
03-20 1020
使用python获取网页上的内容，并存入数据库 例如：获取 http://api.help.bj.cn/api/?id=53 中的城市，lever，quality，pm2.5 中的内容** 网站是这样的： 网站源码： python代码： import requests,ast,hashlib,os,mysql.connector,re from bs4 import BeautifulSoup conn=mysql.connector.connect(user="root",password="自己
Python Web从入门到精通(一) Scrapy框架爬取天气网并将数据存入数据库
yldd_ldd的博客
03-06 700
创建项目 scrapy startproject 项目名 个人习惯使用vscode进行编码，相较于pycharm而言，vscode属于轻量级编译器，打开终端，输入以下命令 1. scrapy genspider spider名 爬取的网站 2. 例如：scrapy genspider weather https://www.tianqi.com/fuan/ 此时会在项目的spider文件夹下生成weather.py. 由于爬取的天气网站https://www.tianqi.com/fu..
JAVA利用jsoup爬取今日天气预报信息
洛阳泰山的博客
07-27 2710
代码如下： import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.select.Elements; public class Weather { /** * * @param url 访问路径 * @return */ public Document getDocument (Stri..
java中jsoup爬取网页中存在分页的数据如何爬取
03-29
使用Jsoup爬取分页数据的步骤如下： 1. 定义要爬取的网页地址和需要爬取的内容。 2. 使用Jsoup连接网页，获取网页内容。 3. 使用Jsoup解析网页内容，提取需要的数据。 4. 如果网页中存在多页数据，使用循环遍历...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值