Java爬虫

最新推荐文章于 2023-10-30 22:20:59 发布
最新推荐文章于 2023-10-30 22:20:59 发布
阅读量250 收藏 1
点赞数
文章标签： java 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiten/article/details/119568920
版权

一、HttpURLConnection

使用JDK自带的api进行获取数据：

package cool.tdl;

import org.junit.Test;

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.net.HttpURLConnection;
import java.net.URL;


public class JDKAPITest {
    @Test
    public void TestGet() throws Exception {
        //1、确定要访问的URL
        URL url = new URL("https://www.cnblogs.com/zhangguangxiang/p/12007924.html#127284060");
        //2、获取连接对象
        HttpURLConnection URLConnection = (HttpURLConnection) url.openConnection();
        //3、设置连接信息
        URLConnection.setRequestMethod("GET");
        URLConnection.setRequestProperty("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36");//设置请求头
        URLConnection.setConnectTimeout(30000);
        //4、获取数据
        InputStream inputStream = URLConnection.getInputStream();
        BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));
        String line = "";
        String html = "";
        while ((line = reader.readLine()) != null) {
            html += line + "\n";
        }
        System.out.println(html);

        //关闭对象
        inputStream.close();
        reader.close();
    }

    @Test
    public void testPost() throws Exception {
        //1、确定要访问的URL
        URL url = new URL("https://www.cnblogs.com/zhangguangxiang/p/12007924.html#127284060");
        //2、获取连接对象
        HttpURLConnection URLConnection = (HttpURLConnection) url.openConnection();
        //3、设置连接信息
        URLConnection.setDoOutput(true);//允许向url输出内容
        URLConnection.setRequestMethod("POST");
        URLConnection.setRequestProperty("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36");//设置请求头
        URLConnection.setConnectTimeout(30000);
        OutputStream outputStream = URLConnection.getOutputStream();
        outputStream.write("username=tdl".getBytes());

        //4、获取数据
        InputStream inputStream = URLConnection.getInputStream();
        BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));
        String line = "";
        String html = "";
        while ((line = reader.readLine()) != null) {
            html += line + "\n";
        }
        System.out.println(html);

        //关闭对象
        inputStream.close();
        reader.close();
    }
}

二、HttpClient

使用这个工具进行网络爬取会比JDK自带的爬去方便得多：

1、简单案例

package cool.tdl;

import org.apache.http.NameValuePair;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClients;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;
import org.junit.Test;


import java.util.ArrayList;
import java.util.List;


public class Httpclient {
    @Test
    public void testGet() throws Exception {
        //1、创建HTTPclient连接对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //2、创建httpget请求，并进行相关设置
        HttpGet httpGet = new HttpGet("https://blog.csdn.net/weixin_45688486/article/details/112691671#gethttpGet_4");
        httpGet.setHeader("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36");
        //3、执行请求
        CloseableHttpResponse response = httpClient.execute(httpGet);
        //4、获取响应数据
        if (response.getStatusLine().getStatusCode() == 200) {
            String html = EntityUtils.toString(response.getEntity(), "UTF-8");
            System.out.println(html);
        }
        //关闭连接对象
        httpClient.close();
        response.close();

    }

    @Test
    public void testPost() throws Exception {
        //1、
        CloseableHttpClient httpClient = HttpClients.createDefault();

        //2、
        HttpPost httpPost = new HttpPost("https://blog.csdn.net/weixin_45688486/article/details/112691671#gethttpGet_4");

        //3、
        httpPost.setHeader("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36");
        List<NameValuePair> list=new ArrayList<NameValuePair>();//设置参数数组
        list.add(new BasicNameValuePair("tdl","java"));
        UrlEncodedFormEntity entity = new UrlEncodedFormEntity(list,"UTF-8");
        httpPost.setEntity(entity);

        //3、执行请求
        CloseableHttpResponse response = httpClient.execute(httpPost);
        //4、获取响应数据
        if (response.getStatusLine().getStatusCode() == 200) {
            String html = EntityUtils.toString(response.getEntity(), "UTF-8");
            System.out.println(html);
        }
        //关闭连接对象
        httpClient.close();
        response.close();
    }
}

2、HttpClient连接池

@Test
    public void testPool() throws Exception{
        //1、创建httpclient连接管理器
        PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
        //2、设置参数
        cm.setMaxTotal(200);//最大连接数
        cm.setDefaultMaxPerRoute(20);//每个主机的最大并发
        doGet(cm);
        doGet(cm);//这里两次的httpclient不一样
    }

    private void doGet(PoolingHttpClientConnectionManager cm)throws Exception {
        //3、从连接池中获取httpclient对象
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
        //4、创建httpget对象
        HttpGet httpGet = new HttpGet("https://blog.csdn.net/weixin_45688486/article/details/112691671#gethttpGet_4");
        httpGet.setHeader("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36");
        //5、执行请求
        CloseableHttpResponse response = httpClient.execute(httpGet);
        //6、获取响应数据
        if (response.getStatusLine().getStatusCode() == 200) {
            String html = EntityUtils.toString(response.getEntity(), "UTF-8");
            System.out.println(html);
        }
        //7、关闭连接对象
//        httpClient.close();//不用关闭，因为使用了连接池
        response.close();
    }

3、创建请求配置对象

免费代理服务器平台

 @Test
    public void testConfig() throws Exception{
        //0、创建请求配置对象
        RequestConfig requestConfig =  RequestConfig.custom()
                .setSocketTimeout(10000)//连接超时时间
                .setConnectTimeout(10000)//创建连接超时
                .setConnectionRequestTimeout(10000)//请求超时
                .setProxy(new HttpHost("61.133.87.228",55443))
                .build();
        //1、创建HTTPclient连接对象
//        CloseableHttpClient httpClient = HttpClients.createDefault();
        CloseableHttpClient httpClient = HttpClients.custom().setDefaultRequestConfig(requestConfig).build();
        //2、创建httpget请求，并进行相关设置
        HttpGet httpGet = new HttpGet("http://www.itcast.cn/");
        httpGet.setHeader("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36");
        //3、执行请求
        CloseableHttpResponse response = httpClient.execute(httpGet);
        //4、获取响应数据
        if (response.getStatusLine().getStatusCode() == 200) {
            String html = EntityUtils.toString(response.getEntity(), "UTF-8");
            System.out.println(html);
        }
        //关闭连接对象
        httpClient.close();
        response.close();
    }

4、HttpClient封装

package cool.tdl.utils;

import org.apache.http.HttpHost;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.util.EntityUtils;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Random;

public abstract class HttpUtils {
    private static PoolingHttpClientConnectionManager cm = null;
    private static RequestConfig config = null;
    private static List<String> userAgentList = null;

    static {
        cm = new PoolingHttpClientConnectionManager();
        cm.setMaxTotal(200);//最大连接数
        cm.setDefaultMaxPerRoute(20);//每个主机的最大并发
        config = RequestConfig.custom()
                .setSocketTimeout(10000)//连接超时时间
                .setConnectTimeout(10000)//创建连接超时
                .setConnectionRequestTimeout(10000)//请求超时
//                .setProxy(new HttpHost("61.133.87.228", 55443))
                .build();
        userAgentList=new ArrayList<String>();
        userAgentList.add("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36");
        userAgentList.add("Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:90.0) Gecko/20100101 Firefox/90.0");
    }

    public static String getHtml(String url) {
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
        HttpGet httpGet = new HttpGet(url);
        httpGet.setConfig(config);
        httpGet.setHeader("User-Agent",userAgentList.get(new Random().nextInt(userAgentList.size())));
        CloseableHttpResponse response = null;
        try {
            response = httpClient.execute(httpGet);
            if (response.getStatusLine().getStatusCode() == 200) {
                String html="";
                if (response.getEntity()!=null){
                    html = EntityUtils.toString(response.getEntity(), "UTF-8");
                }
                return html;
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            try {
                response.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        return null;
    }
    
    public static void main(String[] args) {
        String html = getHtml("https://proxy.mimvp.com/freeopen?proxy=in_hp");
        System.out.println(html);
    }
}

三、JSoup

jsoup中文帮助文档

1、入门案例

package cool.tdl;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.junit.Test;

public class JsoupTest {
    @Test
    public void testGetDocument() throws Exception{
        Document doc = Jsoup.connect("https://proxy.mimvp.com/freeopen?proxy=in_hp").get();
//        System.out.println(doc);
        Element title = doc.getElementsByTag("title").first();
        String text = title.text();
        System.out.println(text);
    }
}

2、获取元素

1.getElementsById()//根据id获取
2.getElementsByTag()//根据标签获取
3.getElementsByClass()//根据类选择器获取
4.getElementsByAttribute()//根据属性获取

3、元素操作

在这里插入图片描述

4、选择器

在这里插入图片描述
在这里插入图片描述

5、选择器组合

在这里插入图片描述
在这里插入图片描述
正则表达式教程

xiao_teng_
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Android学习历程12-Android 网络请求
anye_anye的博客
01-23 1681
简单的介绍一下Android常用的联网方式、判断网络连接状态以及volley框架、AsyncHttpClient框架的使用
java httpclient返回_java-如何获取HttpClient返回状态码和响应正文？
weixin_32770687的博客
02-13 2287
java-如何获取HttpClient返回状态码和响应正文？我正在尝试让Apache HttpClient触发HTTP请求，然后显示HTTP响应代码(200、404、500等)以及HTTP响应正文(文本字符串)。 需要注意的是，我正在使用v4.2.2，因为那里的大多数HttpClient示例都来自client.execute(...)，并且API从版本3到版本4有了很大变化。不幸的是，我只能使Ht...
HttpPost链接解析网络服务器xml（response.getStatusLine().getStatusCode()==200链接成功）
热门推荐
heng615975867的专栏
09-27 2万+
HttpPost链接解析xml，response.getStatusLine().getStatusCode()==200链接成功，==500失败。 public class XmlPullParserBase { private static final String TAG = "XmlPullParserBase"; public static XmlPullParse
Java中使用HTTP编程实现网络爬虫
仙草不加料的博客
07-18 711
HTTP协议(超文本传输协议，HyperTextTransferProtocol)，是一种无状态的协议，它是基于TCP协议的应用层传输协议，简单的来说，HTTP协议属于应用层，建立在传输层协议TCP之上。客户端通过与服务器建立TCP连接，之后发送HTTP请求与接收HTTP响应都是通过访问Socket接口来调用TCP协议实现。当我们使用浏览器访问模拟服务器时，控制台会获取当前连接的信息，也就是请求头HTTPHeader和请求体BodyHost响应的第一行总是HTTP版本响应代码响应说明。...
[问题解决]Httpclient请求返回状态码返回307 详细解决方式
YiQieFuCong的博客
06-09 1万+
近期公司调用外部连接的地方比较多，楼主正好碰到这个问题固写篇博文奉上，方便自己日后查阅。 首先大家可以先了解下http3XX状态码到底是什么含义，楼主看了好几篇博文 就这篇感觉比较通俗易懂点 ，想了解的点http状态码解释。 问题出现原因可能跟httpclient jar包版本有关联 。可项目已经到达后期，现在更改jar包版本不是很现实，固寻找解决方案。 我们看完博文知道了3XX的状态码是需要...
Java爬虫源码Java爬虫源码
04-25
以下将详细讲解Java爬虫的核心知识点，并结合Python爬虫进行对比。 1. **网络请求库**： - Java中，`HttpURLConnection`和`Apache HttpClient`是常见的HTTP请求库。`HttpURLConnection`是Java标准库的一部分，简单...
java 爬虫
12-12
Java爬虫是一种利用编程语言（本例中是Java）来自动化获取互联网上的数据的技术。Httpclient和Jsoup是两个在Java爬虫开发中常用的库，它们分别承担着不同的任务。 Httpclient是Apache基金会开发的一个HTTP客户端...
JAVA爬虫实现自动登录淘宝
08-27
JAVA爬虫实现自动登录淘宝 JAVA爬虫是指使用JAVA编程语言来实现网页爬虫的技术。爬虫是指模拟用户的行为来自动获取网络资源的程序。JAVA爬虫可以用来自动登录淘宝网，实现自动登录淘宝网的功能。 在本例中，我们...
Boss直聘Java爬虫.zip
03-06
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的...
Java爬虫详细完整源码实例
05-26
Java爬虫技术是一种在互联网上自动获取网页信息的程序，它是大数据分析、搜索引擎优化和内容监控等领域的基础工具。在这个“Java爬虫详细完整源码实例”中，我们可以深入理解如何利用Java语言来构建一个功能完备的...
【Java 进阶篇】Java HTTP响应消息详解
繁依Fanyi的博客
10-30 1556
HTTP响应消息是Web开发中的重要部分，了解如何处理HTTP响应对于开发Web应用程序至关重要。在Java中，你可以使用标准库的类或第三方库来处理HTTP响应。希望这篇文章能够帮助你更好地理解HTTP响应的基本结构和处理方式。如果你有任何问题或建议，请随时联系我们。
HttpClient使用详解
cihongmo6452的博客
08-01 744
Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因...
Httpclient-My坑
AnxiangLemon的博客
06-05 589
学习了一下Httpclient，用SmartQQ练下手 坑一：Referer HTTP Referer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器我是从哪个页面链接过来的，服务器基此可以获得一些信息用于处理。 不管三七二十一 ：headers.put("Referer", url);  没错 坑二：Post参数装填 参数为 name=...
HttpClient get和HttpClient Post请求的方式获取服务器的返回数据
Java那点事 | 学习●思考●分享 | Java技术交流QQ群：83753349
10-13 5460
/*  * 演示通过HttpClient get请求的方式获取服务器的返回数据  */ [html] view plain copy public class HttpClientDemo {       public static void main(String[] args) throws ClientProtocolException, I
HttpClient:发送get/post请求(有参，无参)
yangbiao的博客
10-11 7417
HttpClient：支持 HTTP 协议的客户端编程工具包 1.get请求无参、get请求有参、post请求无参、post请求有参 public class HttpClientGetTest { public static void main(String[] args) throws Exception{ //HttpClientGetTest.testHtt...
软件测试之接口自动化测试（六）：数据验证专项1
测试小小小的博客
07-18 929
一、进入主题 接口自动化测试的难点就在结果验证上面，接口请求后返回的响应结果各式各样，常见的有text、JSON、XML、binary、自定义格式等，对于这些格式，我们只需关注text、JSON和XML，text比较简单，XML可以有办法转成JSON，自定义格式要具体问题具体分析，binary的通常情况没法搞，比如文件、图片。所以我们最终掌握验证JSON就可以满足90%以上的需求了。 二、思路分析 我们还是拿上一节的那个汇率的接口例子来做演示（上次有童鞋建议，所以尽量都用公开的大家都可以用的接口例子）
HttpClient使用不当，服务挂了，是时候系统学习一下了
程序新视界
12-20 1052
背景 最近发生了两件事，觉得有必要系统的学习一下Apache的HttpClient了。 事件一：联调微信支付接口，用到HttpClient，花时间整理了一番。如果有一篇文章，读一读就可以掌握HttpClient 80%的内容，再有可以直接用的Demo，下次再遇到是不是就可以非常容易集成了？这篇便是这篇文章的目标之一。 事件二：上家公司同事发消息求助，说系统JVM溢出，找不到原因不了。查看了发来的日志文件，基本定位是HttpClient调用三方接口时内存溢出导致的。 无论出于哪种原因，HTTP调用的熟练使用都
hadoop java爬虫
最新发布
06-24
在Java爬虫中，Hadoop可以作为数据存储和处理层，用于存储爬取到的网页数据，并支持后续的数据分析和挖掘。以下是Hadoop在Java爬虫中的使用场景和关键点： 1. **分布式存储**：Hadoop的HDFS（Hadoop Distributed ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值