Java——HttpClient爬取网页，jsoup解析网页

最新推荐文章于 2024-05-03 21:17:42 发布
最新推荐文章于 2024-05-03 21:17:42 发布
阅读量1.1k 收藏 11
点赞数 3
文章标签： java apache 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45830276/article/details/126567856
版权

Java——HttpClient爬取网页，jsoup解析网页

文章目录

1、所用技术：Httpclient

HttpClient 是Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。

2、引入依赖

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.8</version>
        </dependency>

3、新建一个测试类


import java.io.IOException;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
import java.util.ArrayList;
import java.util.List;
import javax.net.ssl.SSLContext;
import javax.net.ssl.TrustManager;
import javax.net.ssl.X509TrustManager;

import org.apache.http.HttpHost;
import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * @author ZWB 
 */
public class HttpClientT4 {
    
    //设置请求访问的ssl证书
    private static SSLContext ctx;

    static {
        try {
            ctx = SSLContext.getInstance("TLS");
            X509TrustManager tm = new X509TrustManager() {
                public X509Certificate[] getAcceptedIssuers() {
                    return null;
                }

                public void checkClientTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }

                public void checkServerTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }
            };
            ctx.init(null, new TrustManager[] { tm }, null);
        } catch (Exception e) {
            System.out.println(e);
        }
    }


    public static void main(String[] args) throws Exception {
        String url="https://taolitop.com";
        String html = HttpClientT4.resultHtml(url);
        System.out.println(html);

    }


    /**
     * 返回Html
     * @param url
     * @return
     * @throws Exception
     */
    public static String resultHtml (String url) throws Exception{
        // 在这儿加了 setSSLContext(ctx)
        String result = "爬取错误！";
        CloseableHttpClient httpClient = HttpClientBuilder.create().setSSLContext(ctx).build();

        //创建get请求
        HttpGet request = new HttpGet(url);
        try {
            HttpResponse response = httpClient.execute(request);
            result = EntityUtils.toString(response.getEntity(), "utf-8");
            //System.out.println(result);
        } catch (ClientProtocolException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return result;
    }
}

执行上面的代码，会得到一个完整的html的代码：

在这里插入图片描述

你会看到一个完整的网页

原因是这个网站没有设置反爬虫，返回状态不是200，所以我们没有怎么设置就轻松获取了相关的资源，

如果对应的网站有识别了爬虫程序，怎么办？

爬下面的网站，就会发现问题

https://www.tuicool.com/

在这里插入图片描述

爬虫程序被识别了，我们该怎么解决呢？

4、复杂的爬虫应用

4.1、对请求头进行伪装

伪装成浏览器，其实如果你伪装了之后，如果短时间内一直多次访问的话，网站会对你的ip进行封杀，这个时候就需要换个ip地址了，使用代理IP

4.2、使用代理IP

网上有一些免费的代理ip网站，比如xici

我们选择那些存活时间久并且刚刚被验证的ip，我这里选择了“112.85.168.223:9999”，代码如下

4.3、创建get请求，伪装成浏览器访问

把 HttpGet request = new HttpGet(url); 换成如下代码：

HttpGet request = new HttpGet(url);
request.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36");
 //如果你伪装了之后，如果短时间内一直多次访问的话，网站会对你的ip进行封杀，这个时候就需要换个ip地址了，使用代理IP
HttpHost proxy = new HttpHost("112.85.168.223", 9999);
RequestConfig config = RequestConfig.custom().setProxy(proxy).build();
request.setConfig(config);

全部代码


import java.io.IOException;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
import java.util.ArrayList;
import java.util.List;
import javax.net.ssl.SSLContext;
import javax.net.ssl.TrustManager;
import javax.net.ssl.X509TrustManager;

import org.apache.http.HttpHost;
import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * @author ZWB 
 */
public class HttpClientT4 {
    
    //设置请求访问的ssl证书
    private static SSLContext ctx;

    static {
        try {
            ctx = SSLContext.getInstance("TLS");
            X509TrustManager tm = new X509TrustManager() {
                public X509Certificate[] getAcceptedIssuers() {
                    return null;
                }

                public void checkClientTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }

                public void checkServerTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }
            };
            ctx.init(null, new TrustManager[] { tm }, null);
        } catch (Exception e) {
            System.out.println(e);
        }
    }


    public static void main(String[] args) throws Exception {
        String url="https://taolitop.com";
        String html = HttpClientT4.resultHtml(url);
        System.out.println(html);

    }


    /**
     * 返回Html
     * @param url
     * @return
     * @throws Exception
     */
    public static String resultHtml (String url) throws Exception{
        // 在这儿加了 setSSLContext(ctx)
        String result = "爬取错误！";
        CloseableHttpClient httpClient = HttpClientBuilder.create().setSSLContext(ctx).build();

        //创建get请求
        HttpGet request = new HttpGet(url);
        request.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36");
        //如果你伪装了之后，如果短时间内一直多次访问的话，网站会对你的ip进行封杀，这个时候就需要换个ip地址了，使用代理IP
        HttpHost proxy = new HttpHost("112.85.168.223", 9999);
        RequestConfig config = RequestConfig.custom().setProxy(proxy).build();
        request.setConfig(config);
        try {
            HttpResponse response = httpClient.execute(request);
            result = EntityUtils.toString(response.getEntity(), "utf-8");
            //System.out.println(result);
        } catch (ClientProtocolException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return result;
    }
}

执行代码，能正常返回html结果。

如果代理ip刚好不能用的话，会报错，如下显示连接超时，这个时候需要更换一个新的代理ip

4.4、访问失败的其他原因

系统被识别出来爬虫的很大原因是短时间内对系统进行了大量的访问，因此我们也可以放慢爬取的速度，让程序sleep一段时间再爬下一个也是一种解决反爬虫的简单方法。

5、使用jsoup解析html

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，

可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

​ 详情可以参考博客Jsoup详解

5.1、导入依赖

<dependency>
	<groupId>org.jsoup</groupId>
	<artifactId>jsoup</artifactId>
	<version>1.10.2</version>
</dependency>

5.2、解析网页

以爬取https://taolitop.com/为例，在这之前我们已经有了该网页的html，例如我们将解析该网页的全部图片，我们只需要利用Jsoup去解析图片，添加对应代码即可：

            Document parse = Jsoup.parse(result);
            Elements links = parse.getElementsByTag("img");
            for (Element link : links) {
                String linkHref = link.attr("src");
                linkHref = "https://taolitop.com" + linkHref;
                imgList.add(linkHref);
            }

完整代码：


import java.io.IOException;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
import java.util.ArrayList;
import java.util.List;
import javax.net.ssl.SSLContext;
import javax.net.ssl.TrustManager;
import javax.net.ssl.X509TrustManager;

import org.apache.http.HttpHost;
import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * @author shifengqiang 2022/3/15 6:03 PM
 */
public class HttpClientT4 {
    
    //设置请求访问的ssl证书
    private static SSLContext ctx;

    static {
        try {
            ctx = SSLContext.getInstance("TLS");
            X509TrustManager tm = new X509TrustManager() {
                public X509Certificate[] getAcceptedIssuers() {
                    return null;
                }

                public void checkClientTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }

                public void checkServerTrusted(X509Certificate[] arg0,
                                               String arg1) throws CertificateException {
                }
            };
            ctx.init(null, new TrustManager[] { tm }, null);
        } catch (Exception e) {
            System.out.println(e);
        }
    }


    public static void main(String[] args) throws Exception {

       List<String> strings = HttpClientT4.resultImgUrl(url);
        for (String imgUrl : strings) {
            System.out.println(imgUrl);
        }

    }


    /**
     * 返回图片url
     * @param url
     * @return
     * @throws Exception
     */
    public static List<String> resultImgUrl (String url) throws Exception{
        // 在这儿加了 setSSLContext(ctx)
        String result = "爬取错误！";
        List<String> imgList=new ArrayList<>();
        CloseableHttpClient httpClient = HttpClientBuilder.create().setSSLContext(ctx).build();

        //创建get请求
        HttpGet request = new HttpGet(url);

        try {
            HttpResponse response = httpClient.execute(request);
            result = EntityUtils.toString(response.getEntity(), "utf-8");
            Document parse = Jsoup.parse(result);
            Elements links = parse.getElementsByTag("img");
            for (Element link : links) {
                String linkHref = link.attr("src");
                linkHref = "https://taolitop.com" + linkHref;
                imgList.add(linkHref);
            }

        } catch (ClientProtocolException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return imgList;
    }
}

此时就获取到了该网页的全部图片资源：

在这里插入图片描述

我们可以点击该网址直接打开。

同时：
jsoup也可以解析其他的内容，也可以根据class或者id解析都可，具体深入学习可以参考jsoup详解博客。

@Meto
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Selenium实战【滑动验证码破解】【JAVA爬虫】
洛阳泰山的博客
01-11 2688
本文主要讲解，利用之前所学到的java selenium如何实战操作,浏览器控制鼠标，模拟人工操作滑动验证码。这里需要用javacv 的代码知识，用于计算图像中滑块需要移动的距离。
java爬虫——HttpClient爬取jsoup解析
m0_61820867的博客
08-27 899
简介了java如何使用HttpClient爬取html代码以及使用jsoup解析html内容，获取想要的内容
Java开源工具库使用之httpclient
十十办文武的博客
02-22 2681
HttpClient成立于2001年，是项目下的子项目，2004 年离开Commons，提升成为一个单独的 Jakarta 项目。2005 年，Jakarta 创建了项目，目标是开发的继任者。2007 年，Commons项目，也就是HttpClient项目的发源地，离开了Jakarta， 成为了1个新的顶级项目。不久之后，也离开了Jakarta， 成为一个独立的顶级项目，负责维护HttpClient的工作。HttpClient提供了高效、最新、功能丰富的支持HTTP。
网络爬虫——HttpClient的使用
吴声子夜歌的博客
07-16 796
HttpClient 是 Apache Jakarta Common 下的子项目，用来提供高效的、功能丰富的、 支持 HTTP 协议的客户端编程工具包。相比于 java.net 包中提供的 URLConnection 与 HttpURLConnection，HttpClient 增加了易用性和灵活性。在 Java 网络爬虫实战中，经 常使用 HttpClient 向服务器发送请求，获取响应资源。官网提供了 HttpClient 的使 用教程。
java中HttpClient使用【含例子】
最新发布
hac1322的博客
05-03 1426
但是，如果你在使用Java 11之前的版本，并且想要使用类似的功能，你可能需要引入第三方库的依赖，如Apache HttpClient。通过HttpRequest对象，您可以设置请求的URL、请求方法、请求头、请求体等信息，并构建一个完整的HTTP请求对象，用于发送给服务器。它提供了一种简单且一致的方式来执行HTTP操作，包括同步和异步的请求发送、连接池管理、请求和响应的拦截器等功能。被设计成与Java平台更好地集成，使得开发者能够更轻松地处理HTTP请求和响应，同时减少了对外部库的依赖。
使用HttpClient库来爬取苏宁的内容
w15189597283的博客
01-26 452
注意：该程序只是一个简单示例，实际使用时可能需要处理更多的情况，例如错误处理，异常处理等。另外，使用代理服务器爬取网站内容可能会被网站封禁，因此在实际开发中需要谨慎使用。这是一个使用HttpClient库来爬取https://www.suning.com/内容的Java爬虫程序。每行代码都有详细的中文解释。
JAVA实现HTTP请求 之 HTTPClient
热门推荐
WYP123456L的博客
12-17 1万+
一、目前JAVA实现HTTP请求的方法用的最多的有两种：通过HTTPClient这种第三方开源框架去实现。HTTPClient对HTTP的封装性比较不错，基本上能够满足我们大部分的需求，最新的HttpClient4.5是org.apache.http.impl.client下操作远程 url的工具包；HttpClient3.1 是 org.apache.commons.httpclient下操作远程 url的工具包，虽然已不再更新，但实现工作中使用httpClient3.1的代码还是有不少的.另一种则是通过
HttpClient使用详解
cihongmo6452的博客
08-01 759
Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因...
httpClient(JAVA)
有点想法的专栏
05-11 6850
文章目录1.介绍1.1 主要功能1.2 步骤2.使用2.1 get访问(不带参数)2.2 get访问(带参数)2.3 post访问(不带参数)2.4 post访问(带参数)2.5 连接池2.6 请求参数配置参考 1.介绍 1.1 主要功能 1.实现了所有HTTP的方法（get、post、put、head等） 2.支持自动转向 3.支持代理服务器 4.自动处理set-cookie中的cookie 5...
HttpClient-Java
无奇不有 不置可否的博客
01-12 1592
本文旨在提供给学习HttpClient的同学参考，不做任何他用。
jsoup httpclient 爬取网页并下载google图标
04-03
总结来说，这个项目或教程涉及使用Jsoup解析和抓取网页，用HttpClient下载资源，同时利用Apache Commons库增强功能，提供了一种综合运用Java网络编程技术的实例。在实际开发中，这样的技术可以广泛应用于数据抓取、...
爬虫：httpclient+jsoup
11-19
本文将详细探讨使用Java中的两种库——HttpClient和Jsoup，以及它们结合使用来构建网页爬虫的方法。 HttpClient是Apache软件基金会的一个项目，提供了对HTTP协议的全面支持，包括请求/响应模型、连接管理、重定向...
Java+爬虫+爬取图片+完整案例+源码
06-17
我们将通过两个关键库——Httpclient和Jsoup，来实现网络请求和HTML页面解析。以下是详细的步骤和知识点： 1. **Httpclient**：Apache HttpClient是一个强大的Java库，用于执行HTTP请求。它允许我们模拟浏览器行为...
基于Java的网页爬虫 JSpider.zip
06-17
**基于Java的网页爬虫——JSpider** 网页爬虫是一种自动化程序，用于抓取互联网上的信息，通常是HTML页面。在Java编程语言中，构建网页爬虫可以利用丰富的库和工具来实现高效的数据抓取。JSpider就是这样一个用Java...
基于Java的网页搜索爬虫 BlueLeech.zip
06-17
**Java网页搜索爬虫——BlueLeech** Java作为一种强大的编程语言，被广泛应用于各种领域，包括网络爬虫的开发。BlueLeech是一个基于Java实现的网页搜索爬虫项目，它旨在帮助开发者抓取互联网上的信息，进行数据分析...
【Java爬虫】HttpClient+Jsoup实现爬取校内新闻
梦想是动物管理员
03-11 931
Java爬虫、HttpClient+Jsoup爬取校内新闻
Java中发送Http请求之httpClient
ABestRookie的博客
11-23 4079
Java中发送Http请求之httpClient1 httpClient的简介2 httpClient的案列 HTTP 协议是 Internet 上使用得最多、最重要的协议之一，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源, JDK 的 java net包中已经提供了访问 HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK 库本身提供的功能还不够丰富和灵活. 1 httpClient的简介 HttpClient 是 Apache Jakarta Common 下的子
java 中httpclient_Java中HttpClient的用法
weixin_36081299的博客
02-13 1万+
package study.httpclient;import org.apache.http.HttpEntity;import org.apache.http.NameValuePair;import org.apache.http.ParseException;import org.apache.http.client.ClientProtocolException;import org.a...
使用Java HttpClient爬取网页数据教程
"该资源是一个关于使用Java进行网络爬虫数据抓取的教程，主要介绍了如何使用HttpClient库来实现简单的网页抓取。教程指出爬虫是获取大量互联网数据的有效手段，特别是对于科研活动中的数据需求。八爪鱼·云采集网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值