一个简单Java爬虫demo(Java爬虫爬取数据和图片数据)

最新推荐文章于 2022-07-15 14:42:59 发布

Lorie_Chen

最新推荐文章于 2022-07-15 14:42:59 发布

阅读量318

点赞数 1

分类专栏： java 文章标签： java

本文链接：https://blog.csdn.net/Lorie_chen/article/details/103538896

版权

这篇博客展示了如何利用Jsoup库进行Java爬虫开发，以爬取大乐透开奖信息为例，介绍了如何导入Jsoup依赖并使用类选择器获取网页元素。文章还提供了部分Jsoup常用方法的伪代码。

摘要由CSDN通过智能技术生成

在这里我们用jsoup来做，首先导入jsoup依赖
直接引入下面的依赖，如果有喜欢追新版本的强迫症者可以到官网搜索最新版本https://mvnrepository.com/

		<!-- jsoup -->
		<dependency>
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.12.1</version>
		</dependency>

接下来就是开始小demo的制作，首先创建一个类，这个随意，在这里演示的是爬取大乐透的开奖信息，找到你想要的
这里我们通过类选择器来获取元素，废话不多说，直接上代码。

import com.demo.entity.dto.LotteryInfo;
import org.apache.commons.lang3.StringUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.UUID;

public class Lottery {
   

	//定义访问的链接
    public static String URL = "http://kaijiang.500.com/shtml/dlt/";
    public static String url_html = ".shtml";

    public Document getHtmlTextByUrl(){
   

        String url = URL + getQS() + url_html;

        Document document = null;
        try {
   
        	//通过Jsoup访问链接获