Java——HttpClient爬取网页，jsoup解析网页

最新推荐文章于 2024-05-03 21:17:42 发布
最新推荐文章于 2024-05-03 21:17:42 发布
阅读量1.1k 收藏 11
点赞数 3
文章标签： java apache 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45830276/article/details/126567856
版权

Java——HttpClient爬取网页，jsoup解析网页

文章目录

1、所用技术：Httpclient

HttpClient 是Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。

2、引入依赖

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.8</version>
        </dependency>

3、新建一个测试类


import java.io.IOException;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
import java.util.ArrayList;
import java.util.List;
import javax.net.ssl.SSLContext;
import javax.net.ssl.TrustManager;
import javax.net.ssl.X509TrustManager;

import org.apache.http.HttpHost;
import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * @author ZWB 
 */
public class HttpClientT4 {
    
    //设置请求访问的ssl证书
    private static SSLContext ctx;

    static {
        try {
            ctx = SSLContext.getInstance("TLS");
            X509TrustManager tm = new X509TrustManager() {
                public X509Certificate[] getAcceptedIssuers() {
                    return null;
                }

                public void checkClientTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }

                public void checkServerTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }
            };
            ctx.init(null, new TrustManager[] { tm }, null);
        } catch (Exception e) {
            System.out.println(e);
        }
    }


    public static void main(String[] args) throws Exception {
        String url="https://taolitop.com";
        String html = HttpClientT4.resultHtml(url);
        System.out.println(html);

    }


    /**
     * 返回Html
     * @param url
     * @return
     * @throws Exception
     */
    public static String resultHtml (String url) throws Exception{
        // 在这儿加了 setSSLContext(ctx)
        String result = "爬取错误！";
        CloseableHttpClient httpClient = HttpClientBuilder.create().setSSLContext(ctx).build();

        //创建get请求
        HttpGet request = new HttpGet(url);
        try {
            HttpResponse response = httpClient.execute(request);
            result = EntityUtils.toString(response.getEntity(), "utf-8");
            //System.out.println(result);
        } catch (ClientProtocolException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return result;
    }
}

执行上面的代码，会得到一个完整的html的代码：

在这里插入图片描述

你会看到一个完整的网页

原因是这个网站没有设置反爬虫，返回状态不是200，所以我们没有怎么设置就轻松获取了相关的资源，

如果对应的网站有识别了爬虫程序，怎么办？

爬下面的网站，就会发现问题

https://www.tuicool.com/

在这里插入图片描述

爬虫程序被识别了，我们该怎么解决呢？

4、复杂的爬虫应用

4.1、对请求头进行伪装

伪装成浏览器，其实如果你伪装了之后，如果短时间内一直多次访问的话，网站会对你的ip进行封杀，这个时候就需要换个ip地址了，使用代理IP

4.2、使用代理IP

网上有一些免费的代理ip网站，比如xici

我们选择那些存活时间久并且刚刚被验证的ip，我这里选择了“112.85.168.223:9999”，代码如下

4.3、创建get请求，伪装成浏览器访问

把 HttpGet request = new HttpGet(url); 换成如下代码：

HttpGet request = new HttpGet(url);
request.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36");
 //如果你伪装了之后，如果短时间内一直多次访问的话，网站会对你的ip进行封杀，这个时候就需要换个ip地址了，使用代理IP
HttpHost proxy = new HttpHost("112.85.168.223", 9999);
RequestConfig config = RequestConfig.custom().setProxy(proxy).build();
request.setConfig(config);

全部代码


import java.io.IOException;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
import java.util.ArrayList;
import java.util.List;
import javax.net.ssl.SSLContext;
import javax.net.ssl.TrustManager;
import javax.net.ssl.X509TrustManager;

import org.apache.http.HttpHost;
import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * @author ZWB 
 */
public class HttpClientT4 {
    
    //设置请求访问的ssl证书
    private static SSLContext ctx;

    static {
        try {
            ctx = SSLContext.getInstance("TLS");
            X509TrustManager tm = new X509TrustManager() {
                public X509Certificate[] getAcceptedIssuers() {
                    return null;
                }

                public void checkClientTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }

                public void checkServerTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }
            };
            ctx.init(null, new TrustManager[] { tm }, null);
        } catch (Exception e) {
            System.out.println(e);
        }
    }


    public static void main(String[] args) throws Exception {
        String url="https://taolitop.com";
        String html = HttpClientT4.resultHtml(url);
        System.out.println(html);

    }


    /**
     * 返回Html
     * @param url
     * @return
     * @throws Exception
     */
    public static String resultHtml (String url) throws Exception{
        // 在这儿加了 setSSLContext(ctx)
        String result = "爬取错误！";
        CloseableHttpClient httpClient = HttpClientBuilder.create().setSSLContext(ctx).build();

        //创建get请求
        HttpGet request = new HttpGet(url);
        request.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36");
        //如果你伪装了之后，如果短时间内一直多次访问的话，网站会对你的ip进行封杀，这个时候就需要换个ip地址了，使用代理IP
        HttpHost proxy = new HttpHost("112.85.168.223", 9999);
        RequestConfig config = RequestConfig.custom().setProxy(proxy).build();
        request.setConfig(config);
        try {
            HttpResponse response = httpClient.execute(request);
            result = EntityUtils.toString(response.getEntity(), "utf-8");
            //System.out.println(result);
        } catch (ClientProtocolException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return result;
    }
}

执行代码，能正常返回html结果。

如果代理ip刚好不能用的话，会报错，如下显示连接超时，这个时候需要更换一个新的代理ip

4.4、访问失败的其他原因

系统被识别出来爬虫的很大原因是短时间内对系统进行了大量的访问，因此我们也可以放慢爬取的速度，让程序sleep一段时间再爬下一个也是一种解决反爬虫的简单方法。

5、使用jsoup解析html

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，

可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

​ 详情可以参考博客Jsoup详解

5.1、导入依赖

<dependency>
	<groupId>org.jsoup</groupId>
	<artifactId>jsoup</artifactId>
	<version>1.10.2</version>
</dependency>

5.2、解析网页

以爬取https://taolitop.com/为例，在这之前我们已经有了该网页的html，例如我们将解析该网页的全部图片，我们只需要利用Jsoup去解析图片，添加对应代码即可：

            Document parse = Jsoup.parse(result);
            Elements links = parse.getElementsByTag("img");
            for (Element link : links) {
                String linkHref = link.attr("src");
                linkHref = "https://taolitop.com" + linkHref;
                imgList.add(linkHref);
            }

完整代码：


import java.io.IOException;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
import java.util.ArrayList;
import java.util.List;
import javax.net.ssl.SSLContext;
import javax.net.ssl.TrustManager;
import javax.net.ssl.X509TrustManager;

import org.apache.http.HttpHost;
import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * @author shifengqiang 2022/3/15 6:03 PM
 */
public class HttpClientT4 {
    
    //设置请求访问的ssl证书
    private static SSLContext ctx;

    static {
        try {
            ctx = SSLContext.getInstance("TLS");
            X509TrustManager tm = new X509TrustManager() {
                public X509Certificate[] getAcceptedIssuers() {
                    return null;
                }

                public void checkClientTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }

                public void checkServerTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }
            };
            ctx.init(null, new TrustManager[] { tm }, null);
        } catch (Exception e) {
            System.out.println(e);
        }
    }


    public static void main(String[] args) throws Exception {

       List<String> strings = HttpClientT4.resultImgUrl(url);
        for (String imgUrl : strings) {
            System.out.println(imgUrl);
        }

    }


    /**
     * 返回图片url
     * @param url
     * @return
     * @throws Exception
     */
    public static List<String> resultImgUrl (String url) throws Exception{
        // 在这儿加了 setSSLContext(ctx)
        String result = "爬取错误！";
        List<String> imgList=new ArrayList<>();
        CloseableHttpClient httpClient = HttpClientBuilder.create().setSSLContext(ctx).build();

        //创建get请求
        HttpGet request = new HttpGet(url);

        try {
            HttpResponse response = httpClient.execute(request);
            result = EntityUtils.toString(response.getEntity(), "utf-8");
            Document parse = Jsoup.parse(result);
            Elements links = parse.getElementsByTag("img");
            for (Element link : links) {
                String linkHref = link.attr("src");
                linkHref = "https://taolitop.com" + linkHref;
                imgList.add(linkHref);
            }

        } catch (ClientProtocolException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return imgList;
    }
}

此时就获取到了该网页的全部图片资源：

在这里插入图片描述

我们可以点击该网址直接打开。

同时：
jsoup也可以解析其他的内容，也可以根据class或者id解析都可，具体深入学习可以参考jsoup详解博客。

@Meto
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
jsoup httpclient 爬取网页并下载google图标
04-03
总结来说，这个项目或教程涉及使用Jsoup解析和抓取网页，用HttpClient下载资源，同时利用Apache Commons库增强功能，提供了一种综合运用Java网络编程技术的实例。在实际开发中，这样的技术可以广泛应用于数据抓取、...
爬虫：httpclient+jsoup
11-19
本文将详细探讨使用Java中的两种库——HttpClient和Jsoup，以及它们结合使用来构建网页爬虫的方法。 HttpClient是Apache软件基金会的一个项目，提供了对HTTP协议的全面支持，包括请求/响应模型、连接管理、重定向...
Java开源工具库使用之httpclient
十十办文武的博客
02-22 2679
HttpClient成立于2001年，是项目下的子项目，2004 年离开Commons，提升成为一个单独的 Jakarta 项目。2005 年，Jakarta 创建了项目，目标是开发的继任者。2007 年，Commons项目，也就是HttpClient项目的发源地，离开了Jakarta， 成为了1个新的顶级项目。不久之后，也离开了Jakarta， 成为一个独立的顶级项目，负责维护HttpClient的工作。HttpClient提供了高效、最新、功能丰富的支持HTTP。
网络爬虫——HttpClient的使用
吴声子夜歌的博客
07-16 796
HttpClient 是 Apache Jakarta Common 下的子项目，用来提供高效的、功能丰富的、 支持 HTTP 协议的客户端编程工具包。相比于 java.net 包中提供的 URLConnection 与 HttpURLConnection，HttpClient 增加了易用性和灵活性。在 Java 网络爬虫实战中，经 常使用 HttpClient 向服务器发送请求，获取响应资源。官网提供了 HttpClient 的使 用教程。
java中HttpClient使用【含例子】
最新发布
hac1322的博客
05-03 1405
但是，如果你在使用Java 11之前的版本，并且想要使用类似的功能，你可能需要引入第三方库的依赖，如Apache HttpClient。通过HttpRequest对象，您可以设置请求的URL、请求方法、请求头、请求体等信息，并构建一个完整的HTTP请求对象，用于发送给服务器。它提供了一种简单且一致的方式来执行HTTP操作，包括同步和异步的请求发送、连接池管理、请求和响应的拦截器等功能。被设计成与Java平台更好地集成，使得开发者能够更轻松地处理HTTP请求和响应，同时减少了对外部库的依赖。
使用HttpClient库来爬取苏宁的内容
w15189597283的博客
01-26 451
注意：该程序只是一个简单示例，实际使用时可能需要处理更多的情况，例如错误处理，异常处理等。另外，使用代理服务器爬取网站内容可能会被网站封禁，因此在实际开发中需要谨慎使用。这是一个使用HttpClient库来爬取https://www.suning.com/内容的Java爬虫程序。每行代码都有详细的中文解释。
JAVA实现HTTP请求 之 HTTPClient
热门推荐
WYP123456L的博客
12-17 1万+
一、目前JAVA实现HTTP请求的方法用的最多的有两种：通过HTTPClient这种第三方开源框架去实现。HTTPClient对HTTP的封装性比较不错，基本上能够满足我们大部分的需求，最新的HttpClient4.5是org.apache.http.impl.client下操作远程 url的工具包；HttpClient3.1 是 org.apache.commons.httpclient下操作远程 url的工具包，虽然已不再更新，但实现工作中使用httpClient3.1的代码还是有不少的.另一种则是通过
HttpClient-Java
无奇不有 不置可否的博客
01-12 1592
本文旨在提供给学习HttpClient的同学参考，不做任何他用。
【Java爬虫】HttpClient+Jsoup实现爬取校内新闻
梦想是动物管理员
03-11 931
Java爬虫、HttpClient+Jsoup爬取校内新闻
java代码实现HttpClient请求
m0_44980168的博客
04-09 700
springBoot中使用HttpClient发送get请求和post请求
java 伪装浏览器,java 模拟浏览器
weixin_34036423的博客
03-14 496
java 模拟浏览器public static void DownLoadPages(String urlStr, String outPath){int chByte = 0;URL url = null;HttpURLConnection httpConn = null;InputStream in = null;FileOutputStream out = null;try{url = ne...
java+jsoup抓取网页数据
12-21
使用java+jsoup进行网页数据的抓取，提取自己想要的数据
Java+爬虫+爬取图片+完整案例+源码
06-17
我们将通过两个关键库——Httpclient和Jsoup，来实现网络请求和HTML页面解析。以下是详细的步骤和知识点： 1. **Httpclient**：Apache HttpClient是一个强大的Java库，用于执行HTTP请求。它允许我们模拟浏览器行为...
基于Java的网页爬虫 JSpider.zip
06-17
**基于Java的网页爬虫——JSpider** 网页爬虫是一种自动化程序，用于抓取互联网上的信息，通常是HTML页面。在Java编程语言中，构建网页爬虫可以利用丰富的库和工具来实现高效的数据抓取。JSpider就是这样一个用Java...
基于Java的网页搜索爬虫 BlueLeech.zip
06-17
**Java网页搜索爬虫——BlueLeech** Java作为一种强大的编程语言，被广泛应用于各种领域，包括网络爬虫的开发。BlueLeech是一个基于Java实现的网页搜索爬虫项目，它旨在帮助开发者抓取互联网上的信息，进行数据分析...
java实现的网页爬虫1.5版本聚焦爬虫抽取网页html
01-16
实现Java爬虫通常涉及以下组件：网络连接（如HttpURLConnection或HttpClient）、HTML解析（如Jsoup）、线程管理（多线程爬取以提高效率）、URL管理（避免重复和死链）、数据库操作（如JDBC）以及异常处理。...
Scrapy爬取多级页面数据
manfanying的博客
02-18 1511
使用scrapy从多级页面中提取数据
关于简单java爬取网站信息
s_sos0的博客
09-24 1729
爬取网站信息
网页上爬取数据（Java版）通俗易懂
qq_42429369的博客
05-31 5080
java 网页爬虫，jsoup
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值