HttpClient&阿里云通信接口
HttpClient:java模拟浏览器发起http请求的工具包
HttpClient 提供的主要的功能
(1)实现了所有 HTTP 的方法(GET,POST,PUT,DELETE 等)
(2)支持自动转向
(3)支持 HTTPS 协议
(4)支持代理服务器等
jsoup +httpclient java爬虫
httpClient发送请求步骤
基于get方式
基于httpClients获取模拟浏览器对象
创建发送请求的方式 post / get
发送请求,基于模拟浏览器对象的excute将请求方式作为参数,得到响应对象
判断响应码是否为200.获取响应中的实体,将实体转为字符串输出,关闭资源
get发送有参请求将参数拼接到地址即可
public class HttpClientGet {
public static void main(String[] args) throws IOException {
//1、模拟打开浏览器 HttpClients
CloseableHttpClient httpClient = HttpClients.createDefault();
//2、设置请求对象 HttpGet
HttpGet httpGet = new HttpGet("https://www.baidu.com/");
//3、发起请求
CloseableHttpResponse response = httpClient.execute(httpGet);