JAVA爬虫系列

已于 2024-03-18 00:00:43 修改
阅读量1.4k 收藏 19
点赞数 27
分类专栏： Java 文章标签： java 爬虫 开发语言
于 2024-03-12 10:55:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59690068/article/details/136643758
版权

目录

准备工作

yml

1.入门程序（获取到静态页面）

2.HttpClient---Get

2.1 HttpClient--Get 修改成连接池(直接看这个)

3.HttpClient---Get带参数

3.1 修改成连接池

4.HttpClient---Post

4.1 修改成连接池

5.HttpClient---Post带参数

6.HttpClient-连接池

7.设置请求信息

8.jsoup介绍.

9.jsoup解析url

10.jsoup解析字符串

11.jsoup解析文件

12.所有dom方式获取元素

13.元素中获取数据

14.选择器方式获取元素

准备工作

导入依赖

 <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.2</version>
        </dependency>

yml

logging:
  level:
    root: info
    com.lrm: debug

1.入门程序（获取到静态页面）

package com.itheima.reggie.utils;


import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

/**
 * @Author lpc
 **/
public class CrawlerFirst {
    public static void main(String[] args) throws Exception {

        //1.打开浏览器,创建Httpclient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();

       //2.输入网址,发起get请求创建HttpGet对象
        HttpGet httpGet = new HttpGet("https://www.itcast.cn/");

        //3.按回车,发起请求,返回响应,使用Httpclient对象发起请求
        CloseableHttpResponse response = httpClient.execute(httpGet);
        //4.解析响应,获取数据
        //判斯状态码是否是200
        if (response.getStatusLine().getStatusCode()==200){
            HttpEntity httpEntity = response.getEntity();
            //获取前端静态页面
            String content = EntityUtils.toString(httpEntity,"utf8");
            System.out.println(content);
        }


    }
}

2.HttpClient---Get

package com.itheima.reggie.utils;


import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

/**
 * @Author lpc
 * @Date 2024 03 12 00 23
 **/
public class CrawlerFirst {
    public static void main(String[] args){

        //1.打开浏览器,创建Httpclient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();

       //2.输入网址,发起get请求创建HttpGet对象
        HttpGet httpGet = new HttpGet("https://www.itcast.cn/");

        //3.按回车,发起请求,返回响应,使用Httpclient对象发起请求
        CloseableHttpResponse response = null;

        try {
            response = httpClient.execute(httpGet);
            //4.解析响应,获取数据
            //判斯状态码是否是200
            if (response.getStatusLine().getStatusCode()==200){
                HttpEntity httpEntity = response.getEntity();
                //获取前端静态页面
                String content = EntityUtils.toString(httpEntity,"utf8");
                System.out.println(content.length());
            }
        } catch (IOException e) {
            throw new RuntimeException(e);
        }finally {
            try {
                //关闭response
                response.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
            try {
                //关闭浏览器
                httpClient.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }


    }
}

2.1 HttpClient--Get 修改成连接池(直接看这个)

 如果每次请求都要创建HttpClient，会有频繁创建和销毁的问题，可以使用连接池来解决这个问题。·
测试以下代码，并断点查看每次获取的HttpClient都是不一样的。。

package org.example;

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

/**
 * @Author lpc
 * @Date 2024 03 14 09 38
 **/
public class Test {

    public static void main(String[] args) {
        //创建连接池
        PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
        //设置最大连接数
        cm.setMaxTotal(100);
        //设置每个主机的最大连接数
        cm.setDefaultMaxPerRoute(10);
        //使用连接池管理器发起请求
        doGet(cm);
    }

    public static void doGet(PoolingHttpClientConnectionManager cm){
        //不是每次创建新的httpClient,而是从连接池中获取HttpClient对象
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
        HttpGet httpGet = new HttpGet("http://www.itcast.cn");
        CloseableHttpResponse response=null;
        try {
           response = httpClient.execute(httpGet);
           if (response.getStatusLine().getStatusCode()==200){
               String content = EntityUtils.toString(response.getEntity(), "utf8");
               System.out.println(content.length());
           }
        } catch (IOException e) {
            throw new RuntimeException(e);
        }finally {
           if (response!=null){
               try {
                   response.close();
               } catch (IOException e) {
                   throw new RuntimeException(e);
               }
               //不能关闭，由连接池管理
             //  httpClient.close();
           }
        }

    }
}

3.HttpClient---Get带参数

package org.example;

import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.utils.URIBuilder;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;
import java.net.URISyntaxException;

/**
 * @Author lpc
 * @Date 2024 03 13 20 44
 **/
public class Test2 {
    public static void main(String[] args) throws Exception {

        //1.打开浏览器
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //设置请求地址是： http://yun.itheima.com/search?keys=Java
        //带参数的get方法设置
        //创建URIBuilder
        URIBuilder uriBuilder = new URIBuilder("http://yun.itheima.com/search");
        //设置参数  可以设置多个
        uriBuilder.setParameter("keys","Java");

        //2.输入网址，发起get请求创建HttpGet对象
        HttpGet httpGet = new HttpGet(uriBuilder.build());
        System.out.println("发起请求的信息"+httpGet);
        //3.
        CloseableHttpResponse response=null;
        try {
            response = httpClient.execute(httpGet);
            if (response.getStatusLine().getStatusCode()==200){
                HttpEntity httpEntity = response.getEntity();
                //
                String s = EntityUtils.toString(httpEntity, "utf8");
                System.out.println(s);
            }
        } catch (IOException e) {
            throw new RuntimeException(e);
        }finally {
            try {
                response.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
            try {
                httpClient.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }
    }
}

3.1 修改成连接池

4.HttpClient---Post

package org.example;

import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.utils.URIBuilder;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

/**
 * @Author lpc
 * @Date 2024 03 13 20 59
 **/
public class Post {
    public static void main(String[] args) {

        //1.打开浏览器
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //2.输入网址，发起get请求创建HttpGet对象
        //HttpGet httpGet = new HttpGet("https://www.itcast.cn/");
        HttpPost httpPost = new HttpPost("https://www.itcast.cn/");
        //3.
        CloseableHttpResponse response=null;
        try {
           // response = httpClient.execute(httpGet);
            response = httpClient.execute(httpPost);
            if (response.getStatusLine().getStatusCode()==200){
                HttpEntity httpEntity = response.getEntity();
                //
                String s = EntityUtils.toString(httpEntity, "utf8");
                System.out.println(s);
            }
        } catch (IOException e) {
            throw new RuntimeException(e);
        }finally {
            try {
                response.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
            try {
                httpClient.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }
    }
}

4.1 修改成连接池

package org.example;

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

/**
 * @Author lpc
 * @Date 2024 03 14 10 02
 **/
public class Postl {
    public static void main(String[] args){

        //创建连接池管理器
        PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
        //设置最大连接数
        cm.setMaxTotal(100);
        //设置每个主机最大连接数
        cm.setDefaultMaxPerRoute(10);
        //发起请求
        doPost(cm);
    }

    private static void doPost(PoolingHttpClientConnectionManager cm) {
        //不是每次创建新的httpClient,而是从连接池中获取HttpClient对象
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
        //2.输入网址 发起Post请求
        HttpPost httpPost = new HttpPost("http://yun.itheima.com/search");
        CloseableHttpResponse response=null;
        try {
            response = httpClient.execute(httpPost);
            if (response.getStatusLine().getStatusCode()==200){
                String s = EntityUtils.toString(response.getEntity());
                System.out.println(s.length());
            }
        } catch (IOException e) {
            throw new RuntimeException(e);
        }finally {
            if (response!=null){
                try {
                    response.close();
                } catch (IOException e) {
                    throw new RuntimeException(e);
                }

            }
            //不用关闭，由连接池管理
           // httpClient.close();
        }
    }
}

5.HttpClient---Post带参数

package org.example;

import org.apache.http.HttpEntity;
import org.apache.http.NameValuePair;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.utils.URIBuilder;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;

import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.List;

/**
 * @Author lpc
 * @Date 2024 03 13 20 59
 **/
public class Post {
    public static void main(String[] args) throws Exception {

        //1.打开浏览器
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //2.输入网址 发起Post请求
        HttpPost httpPost = new HttpPost("http://yun.itheima.com/search");
        //声明List集合，封装表单中的参数
        List<NameValuePair> params =new ArrayList<NameValuePair>();
        //设置请求地址是： http://yun.itheima.com/search?keys=Java
        params.add(new BasicNameValuePair("keys","Java"));
        //创建表单的Entity对象，第一个参数就是封装的表单数据，第二个参数就是编码
        UrlEncodedFormEntity urlEncodedFormEntity = new UrlEncodedFormEntity(params,"utf8");

        //设置表单的Entity对象到Post请求中
        httpPost.setEntity(urlEncodedFormEntity);

        CloseableHttpResponse response=null;
        try {
           // response = httpClient.execute(httpGet);
            response = httpClient.execute(httpPost);
            if (response.getStatusLine().getStatusCode()==200){
                HttpEntity httpEntity = response.getEntity();
                //
                String s = EntityUtils.toString(httpEntity, "utf8");
                System.out.println(s);
            }
        } catch (IOException e) {
            throw new RuntimeException(e);
        }finally {
            try {
                response.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
            try {
                httpClient.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }
    }
}

6.HttpClient-连接池

如果每次请求都要创建HttpClient，会有频繁创建和销毁的问题，可以使用连接池来解决这个问题。·
测试以下代码，并断点查看每次获取的HttpClient都是不一样的。。

package org.example;

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

/**
 * @Author lpc
 * @Date 2024 03 14 09 38
 **/
public class Test {

    public static void main(String[] args) {
        //创建连接池
        PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
        //设置最大连接数
        cm.setMaxTotal(100);
        //设置每个主机的最大连接数
        cm.setDefaultMaxPerRoute(10);
        //使用连接池管理器发起请求
        doGet(cm);
    }

    public static void doGet(PoolingHttpClientConnectionManager cm){
        //不是每次创建新的httpClient,而是从连接池中获取HttpClient对象
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
        HttpGet httpGet = new HttpGet("http://www.itcast.cn");
        CloseableHttpResponse response=null;
        try {
           response = httpClient.execute(httpGet);
           if (response.getStatusLine().getStatusCode()==200){
               String content = EntityUtils.toString(response.getEntity(), "utf8");
               System.out.println(content.length());
           }
        } catch (IOException e) {
            throw new RuntimeException(e);
        }finally {
           if (response!=null){
               try {
                   response.close();
               } catch (IOException e) {
                   throw new RuntimeException(e);
               }
               //不能关闭，由连接池管理
             //  httpClient.close();
           }
        }

    }
}

7.设置请求信息
 

package org.example;

import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

/**
 * @Author lpc
 * @Date 2024 03 14 09 38
 **/
public class Test {

    public static void main(String[] args) {
        //创建连接池
        PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
        //设置最大连接数
        cm.setMaxTotal(100);
        //设置每个主机的最大连接数
        cm.setDefaultMaxPerRoute(10);
        //使用连接池管理器发起请求
        doGet(cm);
    }

    public static void doGet(PoolingHttpClientConnectionManager cm){
        //不是每次创建新的httpClient,而是从连接池中获取HttpClient对象
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
        HttpGet httpGet = new HttpGet("http://www.itcast.cn");
        //配置请求信息
        RequestConfig config=RequestConfig.custom().setConnectTimeout(1000) //创建连接的最长时间，单位是毫秒
                .setConnectionRequestTimeout(500)//设置获取连接的最长时间
                .setSocketTimeout(10*1000)//设置数据传输的最长时间
                .build();
        //给请求设置请求信息
        httpGet.setConfig(config);
        CloseableHttpResponse response=null;
        try {
           response = httpClient.execute(httpGet);
           if (response.getStatusLine().getStatusCode()==200){
               String content = EntityUtils.toString(response.getEntity(), "utf8");
               System.out.println(content.length());
           }
        } catch (IOException e) {
            throw new RuntimeException(e);
        }finally {
           if (response!=null){
               try {
                   response.close();
               } catch (IOException e) {
                   throw new RuntimeException(e);
               }
               //不能关闭，由连接池管理
             //  httpClient.close();
           }
        }

    }
}

8.jsoup介绍.

jsoup是一款Java 的 HTML解析器，可直接解析某个URL地址、HTML文木内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。.

jsoup 的主要功能如下:

1.从一个 URL，文件或字符串中解析HTML;

2.使用DOM或CSS选择器来查找、取出数据;

3.可操作HTML元素、属性、文本;·

依赖

<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>

<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>4.12</version>
    <scope>test</scope>
</dependency>


<!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
<dependency>
    <groupId>commons-io</groupId>
    <artifactId>commons-io</artifactId>
    <version>2.4</version>
</dependency>


<!-- lang3 -->
                 <dependency>
                     <groupId>org.apache.commons</groupId>
                     <artifactId>commons-lang3</artifactId>
                     <version>3.8.1</version>
                 </dependency>

9.jsoup解析url

package jsoup;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.junit.Test;

import java.net.MalformedURLException;
import java.net.URL;

/**
 * @Author lpc
 * @Date 2024 03 14 10 44
 **/
public class jsoupTestFirst {

    @Test
    public void testJsoupUrl() throws Exception {
        //解析URL地址
        Document parse = Jsoup.parse(new URL("http://www.itcast.cn"), 10*1000);

        //获取title的内容
        Element title = parse.getElementsByTag("title").first();
        System.out.println(title.text());

    }



}

10.jsoup解析字符串

package jsoup;

import org.apache.commons.io.FileUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.junit.Test;

import java.io.File;
import java.net.MalformedURLException;
import java.net.URL;

/**
 * @Author lpc
 * @Date 2024 03 14 10 44
 **/
public class jsoupTestFirst {

    @Test
    public void testString() throws Exception {
        //使用工具读取文件，获取字符串
        String file = FileUtils.readFileToString(new File("D:\\file.html"), "utf8");
        //解析字符串
        Document document = Jsoup.parse(file);
        //获取title的内容
       String title = document.getElementsByTag("title").first().text();
        System.out.println(title);

    }



}

11.jsoup解析文件

@Test
    public void testFile() throws Exception {
        //解析文件
        Document parse = Jsoup.parse(new File("D:\\file.html"), "utf8");
        String title = parse.getElementsByTag("title").first().text();
        System.out.println(title);

    }

12.所有dom方式获取元素

 @Test
    public void testDom() throws Exception {
        //解析文件,获取Document对象
        Document parse = Jsoup.parse(new File("D:\\file.html"), "utf8");
        //获取元素
        //1.
        //Element elementById = parse.getElementById("popupMenu");
        //2.
        //Element elementById=parse.getElementsByTag("span").first();
        //3.
       // Elements elementById = parse.getElementsByClass("city_nav");
        //4.
        Elements elementById=parse.getElementsByAttribute("abc");

        System.out.println(elementById.text());

    }

13.元素中获取数据

 @Test
    public void testData() throws Exception {
        //解析文件
        Document parse = Jsoup.parse(new File("D:\\file.html"), "utf8");
        //根据id获取元素
        Element elementById = parse.getElementById("test");
        System.out.println(elementById);
        //1.从元素中获取id
        String str1=elementById.id();
        System.out.println(str1);
        //2.从元素中获取className
        String str2=elementById.className();
        System.out.println(str2);
        //3.从元素获取attr的值
        String str3=elementById.attr("id");
        System.out.println(str3);
        //4。从元素中获取所有属性
        Attributes attributes = elementById.attributes();
        System.out.println(attributes);
        //5.从元素中获取文本内容
        String str4=elementById.text();
        System.out.println(str4);

    }

14.选择器方式获取元素

 @Test
    public void testSeletor() throws Exception {
        //解析文件
        Document parse = Jsoup.parse(new File("D:\\file.html"), "utf8");
        //tagname: 通过标签查找元素，比如: span
      //  parse.select("span").forEach(System.out::println);


        // id:通过ID查找元素，比如l:# city_bj
       /* Element test = parse.select("test").first();
        System.out.println(test);*/

        //.class:通过class 名称查找元素，比如: .class_a
        /*Element inner = parse.select("inner").first();
        System.out.println(inner);*/


        // [attribute]:利用属性查找元素，比如:[abc]
       /* Element first = parse.select("[abc]").first();
        System.out.println(first.text());*/


        // [attr=value]:利用属性值来查找元素，比如: [class=s_name]
        parse.select("[class=s_name]").forEach(System.out::println);



    }

15.Selector选择器组合使用

@Test
    public void testSeletor2() throws Exception {
        //解析文件
        Document parse = Jsoup.parse(new File("D:\\file.html"), "utf8");
        //el#id:元素+ID，比如:63#city_bj
        Element element = parse.select("h3city_id").first();
        // el.class:元素+class，比如:li.class_au
        Element element1 = parse.select("li.class_a").first();
        // el[attr]:元素+属性名，比如:span[abc]
        Element first = parse.select("span[abc]").first();
        System.out.println(first);
        // 任意组合:比如: span[abc].s_name.
        Element first2 = parse.select("span[abc].s_name").first();
        System.out.println(first2);

        // ancestor child:查找某个元素下子元素，比如: .city_con li查找"city_con"下的所有li
        parse.select(".city_con li").forEach(System.out::println);

        //eparent > child:查找某个父元素下的直接子元素，比如:,
        //.city_con > ul > li查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
        Elements select = parse.select(".city_con > ul > li");
        // parent >*:查找某个父元素下所有直接子元素,
        Elements select1 = parse.select(".city_con > ul > *");


    }

16.

君子善假于物也
关注
  • 27
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java爬虫详解
Jack章臣的博客
11-03 5172
我们需要提取图中圈出来的内容及其对应的链接，在提取的过程中，我们会使用两种方式来提取，一种是 Jsoup 的方式，另一种是 httpclient + 正则表达式的方式，这也是 Java 网络爬虫常用的两种方式，你不了解这两种方式没关系，后面会有相应的使用手册。在正式编写提取程序之前，我先交代一下 Java 爬虫系列博文的环境，该系列博文所有的 demo 都是使用 SpringBoot 搭建的，不管你使用哪种环境，只需要正确的导入相应的包即可。
java爬虫系列
海那边天哭了
05-27 103
推荐:https://www.cnblogs.com/sam-uncle/category/1469093.html
java爬虫系列目录
路人甲Java
04-23 1917
java爬虫系列第一讲-爬虫入门（爬取动作片列表） java爬虫系列第二讲-爬取最新动作电影《海王》迅雷下载地址 java爬虫系列第三讲-获取页面中绝对路径的各种方法 java爬虫系列第四讲-采集"极客时间"专栏文章、视频专辑 java爬虫系列第五讲-如何使用代理防止爬虫被屏蔽? 分享一些实用的java技术（爬虫、消息服务、分布式事务、分布式任务调度、分库分表、互联网金融等），喜欢的请...
JAVA爬虫系列教程
凌波漫步
01-06 382
java爬虫系列第五讲-如何使用代理防止爬虫被屏蔽? JAVA爬虫 快速入门
java解析html_Java爬虫系列三：使用Jsoup解析HTML
weixin_36184835的博客
02-12 412
在上一篇随笔《Java爬虫系列二：使用HttpClient抓取页面HTML》中介绍了怎么使用HttpClient进行爬虫的第一步--抓取页面html，今天接着来看下爬虫的第二步--解析抓取到的html。有请第二步的主角：Jsoup粉墨登场。下面我们把舞台交给Jsoup，让他完成本文剩下的内容。============华丽的分割线=============一、Jsoup自我介绍大家好，我是Jsoup...
Java爬虫系列四：使用selenium-java爬取js异步请求的数据
JAVA开发老菜鸟的专栏
10-17 2257
在之前的系列文章中介绍了如何使用httpclient抓取页面html以及如何用jsoup分析html源文件内容得到我们想要的数据，但是有时候通过这两种方式不能正常抓取到我们想要的数据，比如看如下例子。 1.需求场景： 想要抓取股票的最新价格，页面F12信息如下： 按照前面的方式，爬取的代码如下： /** * @description: 爬取股票的最新股价 * @author: JAVA开发老...
Java爬虫系列一：HttpClient请求工具，IP代理模式
大鹏-coder的博客
04-22 2019
IP代理模式顾名思义，使用非本机IP来请求目标数据，两大好处： 1.作为爬虫项目，有效防止IP风控 2.不多说，你懂得~ 特此声明：本人所有文章都只供大家学习，任何个人或组织不得直接或间接使用本文所有文章中的技术内容干违背国家法律规定的业务。如因此造成的一切后果本人概不承担。 另附《中华人民共和国网络安全法》大家以此为底线，一定要保持职业操守，做合法社会主义好公民 废话不多，直接上源码。 1.Maven依赖 <dependency> <groupId>org.a
java爬虫系列第二讲-爬取最新动作电影《海王》迅雷下载地址
路人甲Java
04-21 3653
1. 目标 使用webmagic爬取动作电影列表信息 爬取电影**《海王》**详细信息【电影名称、电影迅雷下载地址列表】 2. 爬取最新动作片列表 获取电影列表页面数据来源地址 访问http://m.ady01.com/rs/film/list/1/1，F12开发者模式中找到页面数据来源地址 地址是：http://m.ady01.com/rs/film/listJson/1/1 ...
java爬虫系列（二）——爬取动态网页
Mr_OOO的博客
01-01 1万+
准备工作 项目地址 网页解析工具地址 启动网页解析器 根据系统选择所需文件 指定端口号启动工具 项目配置 seimi.properties SeimiAgentDemo.java 分析原网页代码 Boot.java 同系列文章 准备工作 新手的话推荐使用seimiagent+seimicrawler的爬取方式，非常容易上手，轻松爬取动态网页，目测初步上手10分钟以内...
java爬虫系列（一）——爬虫入门
热门推荐
Mr_OOO的博客
12-31 2万+
爬虫框架介绍 Heritrix 优势 劣势 简单demo地址 crawler4j 优势 劣势 简单demo地址 WebMagic 优势 劣势 简单demo地址 快速入门 seimicrawler 项目地址 简单爬虫实现 导入项目 编写爬虫 启动爬虫 同系列文章 爬虫框架介绍 java爬虫框架非常多，比如较早的有Heritrix，轻量级的crawler4j...
青果教务系统系列爬虫.zip
03-06
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的...
Java爬虫从入门到精通
06-13
本课程是java大数据系列课程的数据采集部分，通过java爬虫技术从互联网进行在线数据采集，存储。对于本课程学习要求具有一定的java编程基础。通过本课的学习，能够掌握爬虫技术原理，数据采集的原则，数据采集的方式...
零基础写Java知乎爬虫之准备工作
03-06
上个系列我们从易到难介绍了如何使用python编写爬虫，小伙伴们反响挺大，这个系列我们来研究下使用Java编写知乎爬虫，小伙伴们可以对比这看下。
基于Java和Python的爬虫项目实战源码.zip
02-27
基于Java和Python的爬虫项目实战源码.zip 自己动手写网络爬虫》，并基于Python3和Java实现 为什么采用宽度优先搜索策略？ 深度优先遍历可能会在深度上过“深”而陷入“黑洞”； 重要的网页往往距离种子网页比较近，...
猫影视(TVBox系列、FongMi的影视等)自定义爬虫开发调试项目.zip
03-09
反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等...
【STM32学习】HAL库点灯学习
2301_78895982的博客
05-26 892
STM32基于HAL库流水灯实验_hel库安装教程中文版-CSDN博客t=N7T8。
operator ＜=＞ (spaceship operator)
janeqi1987的专栏
05-28 898
= 与!= 操作符为了检查是否相等，现在定义== 操作符就够了。当编译器找不到表达式的匹配声明a!=b 时，编译器会重写表达式并查找!(a==b)。若这不起作用，编译器也会尝试改变操作数的顺序，所以也会尝试!(b==a):a!=b,!(b==a)因此，对于TypeA 的a 和TypeB 的b，编译器将能够识别并编译a!= b若需要的话，可以这样做• 一个独立函数operator!• 一个独立函数operator==(TypeA, TypeB)
Spring6基础笔记
质胜文则野，文胜质则史。文质彬彬，然后君子。
05-21 1209
Spring 是一款主流的 Java EE 轻量级开源框架 ，Spring 由“Spring 之父”Rod Johnson 提出并创立，其目的是用于简化 Java 企业级应用的开发难度和开发周期。Spring的用途不仅限于服务器端的开发。从简单性、可测试性和松耦合的角度而言，任何Java应用都可以从Spring中受益。Spring 框架除了自己提供功能外，还提供整合其他技术和框架的能力。Spring 自诞生以来备受青睐，一直被广大开发人员作为 Java 企业级应用程序开发的首选。时至今日，Spring 俨然
Java 异常处理中try-catch块、finally子句以及自定义异常的使用
最新发布
Itmastergo的博客
05-31 671
异常是程序运行过程中出现的非正常情况。Java 使用异常类（Exception 类及其子类）来表示这些异常情况。异常处理的核心思想是将正常的程序流程与异常处理流程分离开来，使代码更加清晰和可维护。Throwable 类：所有异常和错误的基类。Error 类：表示系统级的错误，程序通常无法处理，比如内存不足（OutOfMemoryError）。Exception 类：表示程序中可以处理的异常情况。RuntimeException 类。
java 爬虫 大众点评
09-23
Java爬虫是一种用于从互联网上自动获取信息的工具或程序。大众点评是中国最大的本地生活服务平台，提供了各种商家的信息和用户的点评。下面将介绍Java爬虫如何应用于大众点评。 首先，Java爬虫可以通过发送HTTP请求...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值