java 爬虫学习 httpclient使用

最新推荐文章于 2023-04-10 10:19:14 发布
最新推荐文章于 2023-04-10 10:19:14 发布
阅读量213 收藏
点赞数
分类专栏： java 文章标签： java爬虫  httpclient
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41249513/article/details/102098300
版权

使用httpclient 模拟游览器请求

maven 依赖

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpcore</artifactId>
            <version>4.4.10</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.6</version>
        </dependency>

        <dependency>
    <groupId>commons-io</groupId>
    <artifactId>commons-io</artifactId>
    <version>2.5</version>
</dependency>

测试代码

这是请求某个网站，获取数据

package com.httpclient.demo.httpClient;

import java.io.File;
import java.io.InputStream;

import org.apache.commons.io.FileUtils;
import org.apache.http.HttpEntity;
import org.apache.http.HttpHost;
import org.apache.http.client.HttpClient;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

/**
 * Hello world!
 *
 */
public class App {
	public static void main(String[] args) {
        //创建CloseableHttpClient 实例
		CloseableHttpClient chc =HttpClients.createDefault();
        //请求方式和网址
		HttpGet get = new HttpGet("http://cj.sdust.edu.cn/");
        //添加请求头，模拟游览器
		get.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36\r\n");
		CloseableHttpResponse chr = null;
		try {
            //发送请求
			chr = chc.execute(get);
            //获取请求页面的数据
			HttpEntity httpentity = chr.getEntity();
			//转码获得数据
			String str = EntityUtils.toString(httpentity,"utf-8");
			System.out.println(str.toString());
		}catch (Exception e) {
			e.printStackTrace();
		}
		
		
		
	}
}

 

测试代码

这是获取网站图片，写入本地

package com.httpclient.demo.httpClient;

import java.io.File;
import java.io.InputStream;

import org.apache.commons.io.FileUtils;
import org.apache.http.HttpEntity;
import org.apache.http.HttpHost;
import org.apache.http.client.HttpClient;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

/**
 * Hello world!
 *
 */
public class App {
	public static void main(String[] args) {
        //创建CloseableHttpClient 实例
		CloseableHttpClient chc =HttpClients.createDefault();
        //请求方式和网址
		HttpGet get = new HttpGet("http://cj.sdust.edu.cn/_mediafile/cj/_festival/_pic/9803f445-5965-42db-9695-28857a49b4b1.jpg");
        //添加请求头，模拟游览器
		get.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36\r\n");
		CloseableHttpResponse chr = null;
		try {
            //发送请求
			chr = chc.execute(get);
            //获取请求页面的数据
			HttpEntity httpentity = chr.getEntity();
            //写入图片的话 网址一定是图片的网址
            //使用了 FileUtils工具类
			if(httpentity !=null){
			InputStream is = httpentity.getContent();
			FileUtils.copyToFile(is, new File("C:\\Users\\雷霆世纪\\Desktop\\aa.jpg"));
			}
		}catch (Exception e) {
			e.printStackTrace();
		}
		
		
		
	}
}

ip代理

代理IP的话 也分几种 透明代理、匿名代理、混淆代理、高匿代理

1、透明代理(Transparent Proxy)

透明代理虽然可以直接“隐藏”你的IP地址，但是还是可以从HTTP_X_FORWARDED_FOR来查到你是谁。

2、匿名代理(Anonymous Proxy)

匿名代理比透明代理进步了一点：别人只能知道你用了代理，无法知道你是谁

3、混淆代理(Distorting Proxies)

如上，与匿名代理相同，如果使用了混淆代理，别人还是能知道你在用代理，但是会得到一个假的IP地址，伪装的更逼真：-）

4、高匿代理(Elite proxy或High Anonymity Proxy)

可以看出来，高匿代理让别人根本无法发现你是在用代理，所以是最好的选择。

一般我们搞爬虫 用的都是 高匿的代理IP

测试代码 

使用高匿代理

package com.httpclient.demo.httpClient;

import java.io.File;
import java.io.InputStream;

import org.apache.commons.io.FileUtils;
import org.apache.http.HttpEntity;
import org.apache.http.HttpHost;
import org.apache.http.client.HttpClient;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

/**
 * Hello world!
 *
 */
public class App {
	public static void main(String[] args) {
		CloseableHttpClient chc =HttpClients.createDefault();
		HttpGet get = new HttpGet("http://cj.sdust.edu.cn/");
		//使用代理 ，添加在头部，ip需要经常变，很容易挂
		HttpHost proxy = new HttpHost("218.91.94.133", 9999);
		RequestConfig config = RequestConfig.custom().setProxy(proxy).build();
		get.setConfig(config);

		get.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36\r\n");
		CloseableHttpResponse chr = null;
		try {
			chr = chc.execute(get);
			HttpEntity httpentity = chr.getEntity();
			String str = EntityUtils.toString(httpentity,"utf-8");
			System.out.println(str.toString());
		}catch (Exception e) {
			e.printStackTrace();
		}

	}
}

添加httpclient 请求服务器时间，读取数据时间

测试代码

package com.httpclient.demo.httpClient;

import java.io.File;
import java.io.InputStream;

import org.apache.commons.io.FileUtils;
import org.apache.http.HttpEntity;
import org.apache.http.HttpHost;
import org.apache.http.client.HttpClient;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

/**
 * Hello world!
 *
 */
public class App {
	public static void main(String[] args) {
		CloseableHttpClient chc =HttpClients.createDefault();
		HttpGet get = new HttpGet("https://www.cnblogs.com/zhou-test/p/10001270.html");
		
		//设置连接服务器时间 ，读取数据超时时间  毫秒
		//RequestConfig config = RequestConfig.custom().setConnectTimeout(10000).setSocketTimeout(10000).build();
		get.setConfig(config);
		
		get.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36\r\n");
		CloseableHttpResponse chr = null;
		try {
			chr = chc.execute(get);
			HttpEntity httpentity = chr.getEntity();
			String str = EntityUtils.toString(httpentity,"utf-8");
			System.out.println(str.toString());
		}catch (Exception e) {
			e.printStackTrace();
		}

	}
}

 

 

 

 

王大力出奇迹
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java爬虫学习文档集
03-05
我收集的httpparse,httpClient学习文档集
Http请求的三种方法：Apache HttpClient、Netty HttpClient、Spring RestTemplate（忽略https安全证书）
胡杨的知识库
07-24 5049
三种Http请求的实现 1、Apache --> http client 2、Netty --> http client 3、Spring --> RestTemplate（忽略https安全证书） 一、Apache --》http client import org.apache.http.NameValuePair; import org.apache.h...
最简便、最直接、最安全的java Httpclient请求
小杰杰的博客
09-03 484
import java.net.URI; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.client.utils.URIBuilder; import org.apache.http....
java 接口自动化
Lily3619的博客
10-04 1451
Java 接口自动化
高并发下HttpClient连接池使用
csdnlidd的博客
03-18 2205
高并发下HttpClient连接池的使用，只写了post请求，请求方法可以自己写。
HttpClient工具类遇到jar包冲突
dam454450872的博客
05-19 8738
上周一要写一个HttpClient工具类，用的httpcomponents-4.5.5，但是项目中pom文件中还有httpcore-4.1.2和httpclient-3.1，pom文件如下图：然后就遇到了下面的异常：可以看到异常是httpcomponents-4.5.5包下的ManagedHttpClientConnectionFactory类中依赖LaxContentLengthStrategy...
java 上下文环境_Apache HttpClient4.5本地环境上下文作为参数执行HTTP方法
weixin_34123197的博客
02-24 142
代码案例：packagecom.what21.http.client4_5;importjava.util.List;importorg.apache.http.client.CookieStore;importorg.apache.http.client.methods.CloseableHttpResponse;importorg.apache.http.client.methods...
java爬虫下载表情包/gif等
06-29
本demo通过httpclient实现爬取并下载图片,仅供学习交流。代码中每次爬取时间定死随机3~6秒。注:请不要随意修改时间,若因个人原因导致服务器瘫痪,请自行承担责任。//代码里的代理自行设置
使用Java+Jsoup做数据爬虫
12-22
仅供学习交流 爬取的资源：爬取某招聘网站的Java岗位的招聘信息，并保存到数据库。 Jsoup使用教程 代码示例 1.准备工作 引入依赖（pom.xml） junit junit 4.12 org.jsoup jsoup 1.11.2 org.apache....
Java爬虫从入门到精通
06-13
本课程是java大数据系列课程的数据采集部分，通过java爬虫技术从互联网进行在线数据采集，存储。对于本课程学习要求具有一定的java编程基础。通过本课的学习，能够掌握爬虫技术原理，数据采集的原则，数据采集的方式...
最新的java爬虫jar包集合，包括源码
03-05
最新版本的httpparse,httpclient,httpsore,这些都是学习java网络爬虫必须的包，包括源码。
HttpClient使用详解与实战一：普通的GET和POST请求
weixin_30673611的博客
05-08 592
简介 HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。 HttpClient最新版本是HttpClient 4.5.3 (GA)。 官方下载：http://hc.apache.org/downloads.cgi 主要特性 基于标准、纯净的Jav...
常用工具类之HttpclientUtil
热门推荐
封尘之魂
02-07 2万+
package com.chenfeng.ego.commons.util; import java.io.IOException; import java.net.URI; import java.util.ArrayList; import java.util.List; import java.util.Map; import org.apache.http.NameValuePair;
使用org.apache.http发起http请求
weixin_60589038的博客
08-11 826
使用org.apache.http发起http请求
实例详解httpclient发送post请求
weixin_39302449的博客
04-10 2502
在上面的代码中，我们首先创建了一个HttpClient对象，然后创建了一个HttpPost对象，并设置了请求URL和请求体。接着设置了请求头信息，其中Content-Type指定了请求体的数据格式。最后执行请求，并获取响应结果。在获取响应结果时，我们使用了EntityUtils工具类将响应实体转换成字符串。最后在finally块中关闭了HttpClient对象。2.创建HttpPost对象，设置请求URL和请求体。1.创建HttpClient对象。4.执行请求，获取响应结果。
java调用http接口get,使用Java调用Http接口（post，get）
weixin_34923852的博客
03-16 477
package com.xiaocaimi.open.common.util;import com.alibaba.fastjson.JSONObject;import lombok.extern.slf4j.Slf4j;import org.apache.http.HttpEntity;import org.apache.http.HttpResponse;import org.apache.h...
SpringCloud-eureka配置问题
前人栽树，后人乘凉。
09-19 197
SpringCloud-eureka配置问题问题一问题二 问题一 配置如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 h
HttpClient进行HTTPS接口调用出错问题解决
weixin_36649540的博客
03-11 1645
1.在调用https接口时报错如下 javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to fin...
JDK原生java.net.HttpURLConnection & Apache提供的通信池化客户端org.apache.http.impl.client.CloseableHttpClient
noob_can的博客
06-02 3357
一文搞懂 JDK原生HttpURLConnection 和 Apache提供的通信池化客户端.CloseableHttpClient！
Java使用httpClient通用方法
最新发布
09-19
Java中使用HttpClient可以通过以下步骤实现： 1. 安装HttpClient：可以在maven中添加以下依赖： ``` <groupId>org.apache.httpcomponents <artifactId>httpclient <version>4.5.13 ``` 2. 创建HttpClient...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值