网络爬虫小白教程 (HttpClient)

最新推荐文章于 2024-08-07 08:19:34 发布
最新推荐文章于 2024-08-07 08:19:34 发布
阅读量649 收藏 3
点赞数
分类专栏： 网络爬虫 文章标签： 网络爬虫 java HttpClient
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22075913/article/details/118638388
版权
本文介绍了Java网络爬虫的基础知识，包括HttpClient的使用，从创建环境到GET、POST请求，再到连接池和请求参数的配置。通过实例展示了如何抓取网页数据，阐述了学习网络爬虫的原因，如搜索引擎实现、大数据分析和SEO优化等。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.学习计划

  1. 入门程序
  2. 网络爬虫介绍
  3. HttpClient抓取数据
  4. Jsoup解析数据
  5. 爬虫案例

2.网络爬虫

网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本

2.1 爬虫入门程序

2.1.1 环境准备
  • JDK1.8
  • IntelliJ IDEA
  • IDEA自带的Maven
2.1.2 环境准备

创建Maven工程itcast-crawler-first并给pom.xml加入依赖

 <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.13</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.25</version>
            <scope>test</scope>
        </dependency>
    </dependencies>
2.1.3 加入log4j.properties
log4j.rootLogger=DEBUG,A1
log4j.logger.cn.itcast = DEBUG
log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c]-[%p] %m%n

### 输出信息到控制抬 ###

log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern = [%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} method:%l%n%m%n
2.1.4 编写代码

编写最简单的爬虫，抓取传智播客首页：http://www.itcast.cn/

public class CrawlerFirst {
    public static void main(String[] args) throws IOException {
        //1.打开浏览器,创建httpClient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //2.输入网址,发起get请求创建HttpGet对象
        HttpGet httpGet=new HttpGet("http://www.itcast.cn");
        //3.按回车发起请求,返回响应，使用HttpClient对象发起请求
        CloseableHttpResponse response = httpClient.execute(httpGet);
        //4.解析响应获取数据
        //判断状态码是否是200
        if(response.getStatusLine().getStatusCode()==200){
            HttpEntity httpEntity = response.getEntity();
            String content = EntityUtils.toString(httpEntity, "utf-8");
            System.out.println(content);
        }
    }
}

测试结果：可以获取到页面数据

在这里插入图片描述

3.网络爬虫

3.1 网络爬虫介绍

在这里插入图片描述

3.2 为什么学网络爬虫

我们初步认识了网络爬虫，但是为什么要学习网络爬虫呢？只有清晰地知道我们的学习目的，才能够更好地学习这一项知识。在此，总结了4种常见的学习爬虫的原因：

1.可以实现搜索引擎

  • 我们学会了爬虫编写之后，就可以利用爬虫自动地采集互联网中的信息，采集回来后进行相应的存储或处理，在需要检索某些信息的时候，只需在采集回来的信息中进行检索，即实现了私人的搜索引擎。

2.大数据时代，可以让我们获取更多的数据源。

  • 在进行大数据分析或者进行数据挖掘的时候，需要有数据源进行分析。我们可以从某些提供数据统计的网站获得，也可以从某些文献或内部资料中获得，但是这些获得数据的方式，有时很难满足我们对数据的需求，而手动从互联网中去寻找这些数据，则耗费的精力过大。此时就可以利用爬虫技术，自动地从互联网中获取我们感兴趣的数据内容，并将这些数据内容爬取回来，作为我们的数据源，再进行更深层次的数据分析，并获得更多有价值的信息。

3.可以更好地进行搜索引擎优化（SEO）。

  • 对于很多SEO从业者来说，为了更好的完成工作，那么就必须要对搜索引擎的工作原理非常清楚，同时也需要掌握搜索引擎爬虫的工作原理。
  • 而学习爬虫，可以更深层次地理解搜索引擎爬虫的工作原理，这样在进行搜索引擎优化时，才能知己知彼，百战不殆。

4.有利于就业。

  • 从就业来说，爬虫工程师方向是不错的选择之一，因为目前爬虫工程师的需求越来越大，而能够胜任这方面岗位的人员较少，所以属于一个比较紧缺的职业方向，并且随着大数据时代和人工智能的来临，爬虫技术的应用将越来越广泛，在未来会拥有很好的发展空间。

4.HttpClient

  • 网络爬虫就是用程序帮助我们访问网络上的资源，我们一直以来都是使用HTTP协议访问互联网的网页，网络爬虫需要编写程序，在这里使用同样的HTTP协议访问网页。
  • 这里我们使用Java的HTTP协议客户端 HttpClient这个技术，来实现抓取网页数据。

4.1.GET请求

访问传智官网，请求url地址：

http://www.itcast.cn/

public class HttpGetTest {
    public static void main(String[] args) {
        //创建HttpClient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //创建httpGet对象，设置url访问地址
        HttpGet httpGet=new HttpGet("http://www.itcast.cn");
        CloseableHttpResponse response=null;
        try{
            //使用HttpClient发起请求,获取response
            response = httpClient.execute(httpGet);
            //解析响应
            if(response.getStatusLine().getStatusCode()==200){
                //获取响应实体
                HttpEntity entity = response.getEntity();
                //将实体转成string对象
                String content = EntityUtils.toString(entity,"utf-8");
                System.out.println(content.length());
            }
        }catch (IOException e){
            e.printStackTrace();
        }finally {
            try{
                //关闭response
                response.close();
                httpClient.close();
            }catch (IOException e){
                e.printStackTrace();
            }
        }
    }
}

注意：这里需要注释掉scope才可以打印日志

 <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.25</version>
            <!--<scope>test</scope>-->
        </dependency>

请求结果

在这里插入图片描述

4.2.带参数的GET请求

在传智中搜索学习视频，地址为：

http://yun.itheima.com/search?keys=Java

public class HttpGetParamTest {
    public static void main(String[] args) throws Exception {
        //创建HttpClient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //设置请求地址是http://yun.itheima.com/search?keys=Java
        //创建URI builder
        URIBuilder uriBuilder=new URIBuilder("http://yun.itheima.com/search");
        uriBuilder.setParameter("keys","Java");;
        //设置参数
        //创建httpGet对象，设置url访问地址
        HttpGet httpGet=new HttpGet(uriBuilder.build());
        System.out.println("发起请求的信息"+httpGet);
        CloseableHttpResponse response=null;
        try{
            //使用HttpClient发起请求,获取response
            response = httpClient.execute(httpGet);
            //解析响应
            if(response.getStatusLine().getStatusCode()==200){
                //获取响应实体
                HttpEntity entity = response.getEntity();
                //将实体转成string对象
                String content = EntityUtils.toString(entity,"utf-8");
                System.out.println(content.length());
            }
        }catch (IOException e){
            e.printStackTrace();
        }finally {
            try{
                //关闭response
                response.close();
                httpClient.close();
            }catch (IOException e){
                e.printStackTrace();
            }
        }
    }
}

这里需要调大 Idea 控制台打印缓存, 打印所有日志

在这里插入图片描述请求结果
在这里插入图片描述

在这里插入图片描述

4.3.POST请求

使用POST访问传智官网，请求url地址：

http://www.itcast.cn/

 public static void main(String[] args) {
        //创建HttpClient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //创建httpGet对象，设置url访问地址
        HttpPost httpPost=new HttpPost("http://www.itcast.cn");
        CloseableHttpResponse response=null;
        try{
            //使用HttpClient发起请求,获取response
            response = httpClient.execute(httpPost);
            //解析响应
            if(response.getStatusLine().getStatusCode()==200){
                //获取响应实体
                HttpEntity entity = response.getEntity();
                //将实体转成string对象
                String content = EntityUtils.toString(entity,"utf-8");
                System.out.println(content.length());
            }
        }catch (IOException e){
            e.printStackTrace();
        }finally {
            try{
                //关闭response
                response.close();
                httpClient.close();
            }catch (IOException e){
                e.printStackTrace();
            }
        }
    }

请求结果：

在这里插入图片描述

4.4.带参数的POST请求

在传智中搜索学习视频，使用POST请求，url地址为：

http://yun.itheima.com/search

url地址没有参数，参数keys=java放到表单中进行提交

  public static void main(String[] args) throws Exception {
        //创建HttpClient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //创建httpGet对象，设置url访问地址
        HttpPost httpPost=new HttpPost("http://yun.itheima.com/search");
        //声明list集合，封装表单中的参数
        List<NameValuePair> params=new ArrayList<NameValuePair>();
        //设置请求地址是http://yun.itheima.com/search?keys=Java
        params.add(new BasicNameValuePair("keys","Java"));
        //创建表单的Entity对象
        //第一个参数是封装好的表单数据，第二个参数是编码
        UrlEncodedFormEntity formEntity=new UrlEncodedFormEntity(params,"utf8");
        //设置表单的Entity对象到post请求中
        httpPost.setEntity(formEntity);
        CloseableHttpResponse response=null;
        try{
            //使用HttpClient发起请求,获取response
            response = httpClient.execute(httpPost);
            //解析响应
            if(response.getStatusLine().getStatusCode()==200){
                //获取响应实体
                HttpEntity entity = response.getEntity();
                //将实体转成string对象
                String content = EntityUtils.toString(entity,"utf-8");
                System.out.println(content.length());
            }
        }catch (IOException e){
            e.printStackTrace();
        }finally {
            try{
                //关闭response
                response.close();
                httpClient.close();
            }catch (IOException e){
                e.printStackTrace();
            }
        }
    }

请求结果
在这里插入图片描述

4.5.连接池

如果每次请求都要创建HttpClient，会有频繁创建和销毁的问题，可以使用连接池来解决这个问题。

测试以下代码，并断点查看每次获取的HttpClient都是不一样的。

public class HttpClientPoolTest {
    public static void main(String[] args) {
        //创建连接池管理器
        PoolingHttpClientConnectionManager cm =new PoolingHttpClientConnectionManager();
        //设置最大连接数
        cm.setMaxTotal(100);
        //设置每个主机的最大连接数
        cm.setDefaultMaxPerRoute(10);//主机--百度，新浪，搜狐等
        //使用连接池管理器发起请求
        doGet(cm);//1565
        doGet(cm);
    }

    private static void doGet(PoolingHttpClientConnectionManager cm) {
        //不是每次创建新的httpClient,而是从连接池中获取httpClient
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
        HttpGet httpGet=new HttpGet("http://www.itcast.cn");
        CloseableHttpResponse response=null;
        try{
            response = httpClient.execute(httpGet);
            if(response.getStatusLine().getStatusCode()==200){
                HttpEntity entity = response.getEntity();
                String content = EntityUtils.toString(entity,"utf8");
                System.out.println(content);
            }
        }catch (IOException e){
            e.printStackTrace();
        }finally {
            if(response!=null){
                try {
                    response.close();
                }catch (IOException e){
                    e.printStackTrace();
                }
                //不能关闭httpClient,由连接池管理httpClient
                //httpClient.close();
            }
        }

    }
}

4.6 请求参数

有时候因为网络，或者目标服务器的原因，请求需要更长的时间才能完成，我们需要自定义相关时间

public class HttpConfigTest {
    public static void main(String[] args) {
        //创建HttpClient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //创建httpGet对象，设置url访问地址
        HttpGet httpGet=new HttpGet("http://www.itcast.cn");

        //配置请求信息
        RequestConfig config=RequestConfig.custom().setConnectTimeout(1000)//创建连接的最长时间单位是毫秒
                             .setConnectionRequestTimeout(500) //设置获取连接的最长时间，单位毫秒
                             .setSocketTimeout(10*1000)//设置数据传输的最长时间，单位是毫秒
                             .build();
        //给请求设置请求信息
        httpGet.setConfig(config);

        CloseableHttpResponse response=null;
        try{
            //使用HttpClient发起请求,获取response
            response = httpClient.execute(httpGet);
            //解析响应
            if(response.getStatusLine().getStatusCode()==200){
                //获取响应实体
                HttpEntity entity = response.getEntity();
                //将实体转成string对象
                String content = EntityUtils.toString(entity,"utf-8");
                System.out.println(content.length());
            }
        }catch (IOException e){
            e.printStackTrace();
        }finally {
            try{
                //关闭response
                response.close();
                httpClient.close();
            }catch (IOException e){
                e.printStackTrace();
            }
        }
    }
}

核心代码
在这里插入图片描述

律二萌萌哒
关注
专栏目录
Java 网络编程：Socket 应用
栗筝i的博客
08-17 335
大家好，我是栗筝i，这篇文章是我的 “栗筝i 的 Java 技术栈” 专栏的第 043 篇文章，在 “栗筝i 的 Java 技术栈” 这个专栏中我会持续为大家更新 Java 技术相关全套技术栈内容。专栏的主要目标是已经有一定 Java 开发经验，并希望进一步完善自己对整个 Java 技术体系来充实自己的技术栈的同学。与此同时，本专栏的所有文章，也都会准备充足的代码示例和完善的知识点梳理，因此也十分适合零基础的小白和要准备工作面试的同学学习。
Python3.6网络爬虫实战案例(基础+实战+框架+分布式)精品高清视频教程
05-07
分环境配置，基础，实战，框架，分布式五个模块，课程讲解详细，内含学习源码
使用 HttpClient 和 HtmlParser 实现简易爬虫
tgyd2006的专栏
12-02 189
这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用，在此基础上实现了一个简易的网络爬虫 (Crawler)，来说明如何使用 HtmlParser 根据需要处理 Internet 上的网页，以及如何使用 HttpClient 来简化 Get 和 Post 请求操作，构建强大的网络应用程序。 使用 HttpClient 和 HtmlParser 实现简易爬虫 这篇文章...
一篇Python爬虫从入门到精通学习路线（非常详细）零基础入门到精通，收藏这一篇就够了
最新发布
Python_paipai的博客
08-07 1999
通过以上学习路线,你将逐步掌握爬虫技术,从基础知识到高级应用,最终能够独立完成各种爬虫项目.学习爬虫不仅需要扎实的编程基础,还需要不断实践与探索.希望本文对你有所帮助,祝你在爬虫的学习之路上取得成功！黑客&网络安全如何学习1.学习路线图攻击和防守要学的东西也不少，具体要学的东西我都写在了上面的路线图，如果你能学完它们，你去就业和接私活完全没有问题。2.视频教程网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。
HttpClient-爬虫
qq_40432598的博客
04-06 769
HttpClient-爬虫
httpclient使用详解（爬虫）
gywtzh0889的专栏
08-05 555
一、简介 HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中，比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。 下载地址: http
HttpClient爬虫
祈雨v的博客
10-01 392
1、模拟Get请求爬取HtmlCloseableHttpClient httpClient =HttpClients.createDefault(); HttpGet get = new HttpGet("http://192.168.100.2:8080"); CloseableHttpResponse response = httpclient.execute(get); HttpEntity
自己动手写网络爬虫
12-04
网络爬虫是一种自动化的网络数据获取工具，其目的是抓取网页信息以便后续处理和分析。网络爬虫广泛应用于搜索引擎、数据挖掘、市场分析等多个领域。尽管像百度、Google这样的大型搜索引擎已经为我们抓取了绝大多数的...
java 爬虫需要的jar包们 jsop httpclient
11-09
Java爬虫是编程领域中一个有趣的实践，它主要用于自动化地抓取互联网上的数据。在这个场景中，`jsoup` 和 `httpclient` 是两个关键的Java库，...在实践中，不断学习和优化爬虫技术，以适应不断变化的网络环境和需求。
Java爬虫汽车之家图片
11-20
Java爬虫是一种使用Java编程语言实现的网络爬虫技术，它主要用于自动抓取互联网上的信息，如网页内容、图片等。在本案例中，项目组利用Java爬虫从汽车之家网站获取了12万张汽车图片，用于训练人工智能的图片识别模型...
JSoup爬虫技术
小白程序员的博客
07-03 1028
写的都是自己的心得，转载请标明出处：https://blog.csdn.net/weixin_41156319/article/details/94560767 JSoup是现在比较火的爬取数据的技术，因为其简单有效，对于学习过JS，JQuery的开发人员比较容易。现在爬虫技术一般都是通过HTTPClient进行获取页面源码，然后通过JSoup进行解析HTML页面。下面就我对JSoup的理解，并...
HttpClient爬虫入门
weixin_44276313的博客
09-14 1181
文章目录一、maven引入jar包二、使用1.步骤2.向网页发送GET请求3.向网页发送POST请求4.使用连接池管理请求 什么是HttpClient？ 顾名思义，httpclient就是http客户端的意思；在项目中前后台交互是通过HTTP/HTTPS请求、响应来进行的，而HTTP请求是由浏览器生成并发送给后台服务器的，服务器接收request请求处理过后返回前台response响应。HttpClient就是代替并模拟浏览器，由代码生成HTTPrequest请求；请求发送给各个大型网站的服务器，获取
网络爬虫教程（1）
梦在waterloo
07-15 1012
爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它 进行进一步的处理。 因此，准确地理解URL对理解网络爬虫至关重要。
简单网络爬虫教程
weixin_47476051的博客
05-01 950
爬虫 使用程序来获取我们需要的网络上的内容，如文字，视频，图片等信息 等。 使用工具 Python3.7 Pycharm 编写流程 步骤一：请求网站，下载网页内容 url = "http://www.baidu.com" #如果访问的网页地址有规律，可以批量的构造网页 #如：urls =['http://xa.xiaozhu.com/search-duanzufang-p{}-0/'.format...
Httpclient写爬虫
风远陌
07-05 460
第1部分           了解爬虫 1.1     什么事爬虫 简单通俗的理解，就是通过Http请求模拟用户在浏览器操作行为的代码。 1.2     爬虫能做什么 常用于抓数据，通过一些列的http请求，将别人网站的内容抓到自己的数据库中。 1.3     爬虫的应用场景 刚使用，大家去别地找一找吧。 第2部分           基础知识准备 第2部分       2.1 
python网络爬虫教程-终于明了python网络爬虫从入门到实践
weixin_37988176的博客
11-01 465
Python是一款功能强大的脚本语言，具有丰富和强大的库，重要的是，它还具有很强的可读性，易用易学，非常适合编程初学者入门。以下是小编为你整理的python网络爬虫从入门到实践环境配置：下载Python并安装，安装完成后，配置windows的环境变量：打开高级系统设置，将Python的安装目录添加到系统变量path中。配置完成后，在cmd命令行，输入命令"Python"，出现P...
爬虫HttpClient 一
yuzheh521的博客
01-13 239
1.hello world 环境准备 JDK1.8 IntelliJ IDEA DEA自带的Maven 1.1 导入 pom.xml <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient --> <!-- HttpClient --> <dependency>
HttpClient和 HtmlParser实现爬虫
thomas.he
09-28 504
HttpClient和 HtmlParser实现爬虫 网络爬虫技术 1       什么叫网络爬虫   网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 2       网络爬虫的分类 网络爬虫...
五种实现网络爬虫的方法（三，基于httpclient编写爬虫）
AaronLin的博客
09-02 2628
咕咕咕~ 总所周知httpclient是java爬虫的利器， 一般我个人开发，都是用httpclient来编写抓取登陆代理等，用jsoup，xpath，正则来处理解析。 废话不多说直接上代码。 public static String getPageContent(String url) { // 创建一个客户端，类似于打开一个浏览器 DefaultHttpClient http...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值