Jsoup通过代理访问url地址

最新推荐文章于 2024-06-25 07:06:31 发布

两个娃他爹

最新推荐文章于 2024-06-25 07:06:31 发布

阅读量2.9k

点赞数 1

分类专栏：代码文章标签：代理 jsoup 407

本文链接：https://blog.csdn.net/n009ww/article/details/90267411

版权

本文介绍如何在Java中利用Jsoup库通过HTTP代理进行网页抓取。主要解决在抓取过程中遇到的407 Proxy Authentication Required错误，讨论配置代理设置以及可能的认证问题。

摘要由CSDN通过智能技术生成

package com.***;

import org.apache.commons.lang3.StringUtils;
import org.jsoup.Connection;
import org.jsoup.Jsoup;

import java.io.IOException;
import java.net.Authenticator;
import java.net.InetSocketAddress;
import java.net.PasswordAuthentication;
import java.net.Proxy;

/**
 * 信息获取
 */
public class JsoupUtils {
    /**
     * 通过代理访问信息
     * @param url 请求地址  带参数
     * @param proxyHost 代理ip
     * @param port 代理端口
     * @param loginUser 代理用户名
     * @param pwd 代理密码
     * @return
     */
    public static String getSimMessageWithProxy(String url,String proxyHost,int port,String loginUser,String pwd){
        try {
            //是否需要身份认证
            if(StringUtils.isNotBlank(loginUser)){
                MyAuthenticator.setDefault(new MyAuthenticator(loginUser,pwd));
            }
            Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, port));
            Connection.Response response =   Jsoup.conne