【Java项目】讲讲我用Java爬虫获取LOL英雄数据与图片（附源码）_游戏数据抓取(1)

最新推荐文章于 2024-05-12 17:32:16 发布
最新推荐文章于 2024-05-12 17:32:16 发布
阅读量692 收藏 27
点赞数 16
分类专栏： 程序员 文章标签： java 爬虫 游戏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60721823/article/details/138360435
版权

本章内容为一个实战项目，主要的实战方向为使用Javad的WebMagic爬虫框架来爬取LOL的英雄资料和一些图片。

本章节需要学习的小伙伴们具备一些初步的JavaSE知识，以及最好能对Maven进行使用。

如果你还不知道Maven是什么，以及不知道如何创建一个Maven项目的话，请移步：Maven教程传送门

那么我们就开始吧！

文章目录

1.什么是爬虫？

爬虫是指使用代码模拟用户批量发送网络请求，批量获取数据的行为。

通俗点来来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。

我们见到的最常见的爬虫就是比如百度、谷歌..之类的搜索引擎

1.1爬虫亦有善恶

我们知道互联网也是一个江湖，在这个大江湖之中，爬虫也是区分善恶的（当然这只是一个概念）。

其实说白了呢就是看使用者如何去使用它。

  • 像谷歌这样的搜索引擎爬虫，每隔几天对全网的网页扫一遍，供大家查阅，各个被扫的网站大都很开心。这种就被定义为「善意爬虫」。
  • 但是，像抢票软件这样的爬虫，对着 12306 每秒钟恨不得撸几万次。铁总并不觉得很开心。这种就被定义为「恶意爬虫」。（注意，抢票的你觉得开心没用，被扫描的网站觉得不开心，它就是恶意的。）
    • 为什么说12306不开心呢，因为在20年前的一份数据表明12306最高峰时 1 天内页面浏览量达 813.4 亿次，1 小时最高点击量 59.3 亿次，平均每秒 164.8 万次。相信如果被这样捕捉的服务器是你的服务器，你也不会开心的。
1.2.爬虫的本质

实质上爬虫的本质就是模拟人为打开浏览器，然后去获取页面上的信息。

只不过这种人为的动作被我们的代码所代替。

1.3.爬虫的基本流程

对于初学者入门来说，其实爬虫的基本流程主要在四步

1.请求目标链接 -> 2.获取响应内容 -> 3.解析内容 -> 4.存储数据

  • 请求目标链接：发起一个带有header、请求参数等信息的Request，等待服务器响应
  • 获取服务器响应内容：服务器正常响应后，Response的内容即包含所有页面内容（可以是HTML、JSON字符串、二进制数据（图片、视频）等等）
  • 解析内容：将得到的内容进行解析，HTML解析、JSON解析、二进制流解析等等
  • 存储数据：存储形式多样，可以存为文本，也可以存储到数据库，或者存为特定格式的文件

2.WebMagic

一般来说爬虫只是一种技术，其实任何语言都是可以实现爬虫的，区分为简单与复杂。

我们所知道的市面上比较常见的爬虫就是Python或者Go比较多

但是实际上在Java中也是可以完成爬虫这一操作，并且有一个相对而言比较成熟的框架就是WebMagic

今天我们就用这个框架来实战一下如何爬取英雄联盟的英雄信息与图片。

logo

2.1.框架概述

WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语言Web爬虫的教科书般的实现

2.2.设计架构

WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。

image

可以依据架构图我们看到整个执行流程大概为

1.发起一个HTTP请求

2.将这个HTTP内容下载下来(Downloader)

3.将内容交给PageProcesser进行处理（框架的处理核心）

4.1.处理内容后，可以再次发起请求

4.2.处理的结果可以交给Pipeline来进行最后的收尾工作（比如存到数据库、或者保存为文件等等）

更详细的内容可以直接查看官方的文档说明，这里就不一一赘述了。🚪 官方传送门

3.项目实战(初窥篇)

3.1.准备工作

直接添加WebMagic相关的框架依赖。

直接复制进pom.xml文件中即可

<dependencies>
    <dependency>
      <groupId>us.codecraft</groupId>
      <artifactId>webmagic-core</artifactId>
      <version>0.7.3</version>
    </dependency>
    <dependency>
      <groupId>us.codecraft</groupId>
      <artifactId>webmagic-extension</artifactId>
      <version>0.7.3</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.projectlombok/lombok -->
    <dependency>
      <groupId>org.projectlombok</groupId>
      <artifactId>lombok</artifactId>
      <version>1.18.24</version>
      <scope>provided</scope>
    </dependency>
    <!-- hutool工具jar包-->
    <dependency>
      <groupId>cn.hutool</groupId>
      <artifactId>hutool-all</artifactId>
      <version>5.8.9</version>
    </dependency>
  </dependencies>
3.2.工具介绍（hutool）

这是一个包含各大常用工具方法的Java工具包。

里面具有丰富的工具资源，可以让你省下不少写一些通用方法的时间。

Hutool是项目中“util”包友好的替代，它节省了开发人员对项目中公用类和公用工具方法的封装时间，使开发专注于业务，同时可以最大限度的避免封装不完善带来的bug

官方传送门：Hutool官方地址

可以在官方地址中查看对应的文档信息。

这次主要我们要用到Hutool工具中对文件、请求的处理的工具！

🎁Hutool名称的由来

Hutool = Hu + tool，是原公司项目底层代码剥离后的开源库，“Hu”是公司名称的表示，tool表示工具。Hutool谐音“糊涂”，一方面简洁易懂，一方面寓意“难得糊涂”。

3.3.初窥门径

我们进行爬虫的第一步就是先明确的我们的需求。

首先我们应当想办法找到LOL英雄资料的页面（URL），然后我们才开始解析我们的页面。

🚪 LOL官方英雄资料地址

学会解析页面

首先我们要鼠标右键查看网页源代码

image-20221114224920149

由此我们可以发现我们的页面数据不过是寥寥几十行，并没有我们所需要的英雄数据信息，说明当前网站的页面信息并不是静态的。而是动态的（这里需要大家对HTTP请求有一定的基础知识）

因为数据是动态的所以我们需要去查看当前页面的请求链接去分析和寻找（这里需要耐心一点）

打开官网地址我们需要按下F12然后选择Network

刷新一下来查看当前网页的数据源是怎么展示在页面上的请求链接，我们可以发现一个比较可疑的链接hero_list.js

从名字来看是英雄列表的意思，只要你点进去查看返回结果可以发现这个就是我们想要的信息。

image-20221114225457022

由此分析我们就得到了当前英雄信息的数据源，我们接下来要做的就是去处理这个数据。

我们得到了我们要请求的路径为：https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js?ts=2780729

3.4.利用WebMagic处理请求

得到我们的需要的数据源之后，我们就要学会利用我们的爬虫来往数据源里面进行爬取数据。

对于数据的处理我们是通过自定义PageProcessor来完成的，所以我们需要创建一个类来实现这个接口。

并且重写我们的process()核心函数，改为我们要做的事情。

简单梳理一下我们要做的事情

  1. 判断请求路径是否与我们的目标路径一致
  2. 路径如果一致则获取文件中的json数据转换成Java对象
  3. 将处理好变成Java对象的数据存到page对象中等待Pipeline的处理
  4. Pipeline对象在接收到处理好传递过来的数据的时候，进行收尾工作，可以选择保存文件、输出在控制台等等

博主在代码中也对内容步骤进行了注释，可以进行参考查看。

核心处理代码

import cn.dengsz.common.Constants;
import cn.dengsz.common.model.HeroInfo;
import cn.dengsz.common.model.HeroSkin;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;

import java.util.List;
import java.util.stream.Collectors;

/\*\*
 \* @author Deng's
 \* 去获取页面的进程
 \*/

public class HerosListPageProcessor implements PageProcessor {


    /\*\*
 \* 核心程序部分
 \*/
    @Override
    public void process(Page page) {
        // 处理英雄列表信息
        if (page.getUrl().get().equals(Constants.HERO\_URL)) {
            // 获取页面内容
            String jsonResult = page.getJson().toString();
            // 利用fastjson解析json内容(根据返回内容决定获取key:hero的内容)
            JSONObject jsonObject = JSONObject.parseObject(jsonResult);
            // 将内容转换成数组
            JSONArray heros = jsonObject.getJSONArray(Constants.HERO\_KEY);
            // 版本信息、更新时间
            String version = jsonObject.getString(Constants.VERSION);
            String updateFileTime = jsonObject.getString(Constants.UPDATE\_TIME);
            // 获取到数据数组 判断数组内容是否为null
            if (heros.size() == 0) {
                return;
            }
            // 将处理好的信息存入Pipeline中
            List<HeroInfo> heroInfoList = heros.toJavaList(HeroInfo.class);
            page.putField(Constants.HERO\_KEY, heroInfoList);
            page.putField(Constants.VERSION, version);
            page.putField(Constants.UPDATE\_TIME, updateFileTime);
            
        }
    }

    @Override
    public Site getSite() {
        // 设置相关的请求头信息，防止反爬虫或者无效访问被拒绝
        return Site.me().setUserAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10\_15\_7) AppleWebKit/" +
                        "537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36")
                .addHeader("accept-encoding", "gzip, deflate, br")
                .addHeader("accept-language", "zh-CN,zh;q=0.9,en;q=0.8")
                .addHeader("origin", "https://101.qq.com")
                .setCharset("utf-8")
                .setRetryTimes(3).setSleepTime(1000);
    }
}

英雄信息的对象模型

import lombok.Data;
/\*\*
 \* @author Deng's
 \* 仅仅获取一些有用的相关数据 保存下来。
 \*/
@Data
public class HeroInfo {

    /\*\*
 \* 英雄id
 \*/
    private String heroId;

    /\*\*
 \* 中文名
 \*/
    private String name;

    /\*\*
 \* 别名
 \*/
    private String alias;

    /\*\*
 \* 信息标题
 \*/
    private String title;

    /\*\*
 \* 金币售价
 \*/
    private String goldPrice;

    /\*\*
 \* 点券售价
 \*/
    private String couponPrice;

    /\*\*
 \* 一些关键信息
 \*/
    private String keywords;


}

一些固定的常量

写一些常量方便之后需要改动的时候进行全局直接生效。

比如文件存储位置、初始访问链接、固定常量名等等

/\*\*
 \* @author Deng's
 \* 一些解析数据的常量
 \*/

public class Constants {
    public static final String HERO\_KEY = "hero";
    public static final String VERSION = "version";
    public static final String UPDATE\_TIME = "fileTime";
    public static final String PIC\_URL = "https://game.gtimg.cn/images/lol/act/img/js/hero/";
    public static final String HERO\_URL = "https://game.gtimg.cn/images/lol/act/img/js/heroList/hero\_list.js?ts=2780565";

    /\*\*
 \* 预设一些文件存储地址
 \* 英雄信息文件、英雄图片文件存储路径（默认桌面）
 \*/
    public static final String HERO\_INFO\_FILE = "/Users/dengs/Desktop/lol-skins/hero.json";
    public static final String HERO\_PIC\_FILE = "/Users/dengs/Desktop/lol-skins/";
}

核心的自定义Pipeline类

本教程将英雄数据存储为本地的json文件，存储地址可以去改动Constants类中的HERO_INFO_FILE常量值来改变。

import cn.dengsz.common.Constants;
import cn.dengsz.common.model.HeroInfo;
import cn.dengsz.common.model.HeroSkin;
import cn.hutool.core.io.FileUtil;
import cn.hutool.http.HttpUtil;
import com.alibaba.fastjson.JSONObject;
import lombok.extern.slf4j.Slf4j;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;

import java.io.FileWriter;
import java.io.IOException;
import java.util.List;

/\*\*
 \* @author Deng's
 \* 处理由pageProcessor处理好后 塞过来的英雄数据（当然你可以在这里改造成存入数据库）
 \*/
@Slf4j
public class LolHeroPipeline implements Pipeline {

    @Override
    public void process(ResultItems resultItems, Task task) {
        // 判断当前请求路径是什么 再决定做什么事情
        if (resultItems.getRequest().getUrl().equals(Constants.HERO\_URL)) {
            // 根据Processor传递过来参数做下一步处理
            List<HeroInfo> heroInfoList = resultItems.get(Constants.HERO\_KEY);
            // 利用hutool可以将内容快速输出成文件
            try {
                //Constants.HERO\_INFO\_FILE 为文件输出的地址
                FileWriter fileWriter = new FileWriter(Constants.HERO\_INFO\_FILE);
                fileWriter.write(JSONObject.toJSONString(heroInfoList));
                fileWriter.close();
            } catch (IOException e) {
                log.error("写出英雄信息出现问题,请查看:{}", e.getMessage());
                throw new RuntimeException(e);
            }
        }
    }
}

最后放上这个项目的启动类

import cn.dengsz.common.Constants;
import cn.dengsz.core.HerosListPageProcessor;
import cn.dengsz.core.LolHeroPipeline;
import us.codecraft.webmagic.Spider;
### 一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)



### 二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、入门学习视频



我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**


![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、入门学习视频



我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
Java老杨
关注
  • 16
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
NodeJS 爬取lol英雄数据信息
cocosum
01-19 755
1、安装node.jsNode.js官网 2、直接上代码 var http = require('http'); var fs = require('fs'); // 文件系统模块 var cheerio = require('cheerio'); // 抓取网页数据模块，需要安装，npm install cheerio var url = 'http://lol...
python爬虫之Selenium数据爬取和数据可视化
weixin_50936255的博客
01-04 3340
本文爬取的数据为虎牙官方网站直播数据，仅获取了直播第一页的全部数据，对其进行了粗略的分析，数据获取时间为2021-01-03（22：00）。 目录1 前置条件2 定位标签3 获取数据3.1 导入库和使用驱动器打开网页3.2 获取分类和人气两个数据4 使用pandas分析数据5 使用Matplotlib画图5.1 柱状图5.2 饼图 1 前置条件 在使用本文代码前，需先下载selenium库、matplotlib库、pandas库和相对应浏览器的相应版本的驱动。 此处给出Chrome浏览器
【Java项目】讲讲我用Java爬虫获取LOL英雄数据与图片（附源码）_游戏数据抓取
2401_84140754的博客
05-06 936
WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语言Web爬虫的教科书般的实现这是一个包含各大常用工具方法的Java工具包。里面具有丰富的工具资源，可以让你省下不少写一些通用方法的时间。Hutool是项目中“util”包友好的替代，它节省了开发人员对项目中公用类和公用工具方法的封装时间，使开发专注于业务，同时可以最大限度的避免封装不完善带来的bug官方传送门Hutool官方地址。
【Java项目】讲讲我用Java爬虫获取LOL英雄数据与图片（附源码）
当下的快乐永远最简单！
11-16 2725
🚀本文通过实战案例的方式来讲解如果解析页面来爬取数据和WebMagic这个Java爬虫框架的应用。
【Java项目】讲讲我用Java爬虫获取LOL英雄数据与图片（附源码）_游戏数据抓取(3)
2401_84183451的博客
04-17 513
因为增加了对于英雄id的记录，以及对每次链接请求的判断（如果是列表就保存英雄数据，如果是英雄详情则下载皮肤图片）* 处理由pageProcessor处理好后 塞过来的英雄数据（当然你可以在这里改造成存入数据库）// 利用fastjson解析json内容(根据返回内容决定获取key:hero的内容)* 英雄的皮肤信息实体类(这里的内容可以根据返回的json信息自己进行需要的属性定义)// 获取到数据数组 判断数组内容是否为null。// 将处理好的信息存入Pipeline中。// 处理英雄列表信息。
Java爬虫抓取网页数据(抓取慕课网论坛为实例)
huoji555的博客
01-23 2067
1. 网络爬虫 网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。简单来说，就是获取请求的页面源码，再通过正则表达式获取自己需要的内容。 实现的时候大致分为以下几个步骤:        (1)爬取网页源码        (2)利用正则截取自己需要的内容(我这里截取问题，以及下面的回答)   2.爬取网页...
vs2015编写python爬虫_使用Python抓取网页数据（一）
weixin_35949298的博客
02-22 584
iOS python 爬虫 LoL学习iOS开发有一段时间了，最近想做一个自己的App玩玩，自己比较喜欢玩LOL，所以想试着做一个LOL资料库的App，那么问题来了，这么多英雄，物品等数据怎么获取呢，总不能自己手敲吧。身为一个程序猿，这种事情怎么能自己来做呢。这时候就可以祭出神器Python了，我们直接进入主题。一、 寻找数据要想获取数据，首先得找到哪里有数据，各大游戏媒体网站都有自己的资料...
python爬虫入门之爬取英雄联盟官网的所有英雄数据
qq_46127034的博客
01-08 9412
本文是Python学期实训时所写的爬虫项目，在这里分享给你，希望能对你有所帮助。 文章目录   爬虫目的分析      网页内容介绍 网页内容介绍   英雄联盟官方网址：  英雄联盟全新官方网站-腾讯游戏   英雄数据信息网址： https://lol.qq.com/data/info-heros.shtml 如果觉得本文写的还不错的话，求赞、求收藏、求关注、求转发、最重要的是给小博主点个大大的订阅，你的鼓励就是我前进的最大动力，我们下期再见。 ...
java图片爬虫脚本_代码下载
热门推荐
殊途同归的博客
03-31 6万+
这篇文章主要介绍了，如何用纯java写一个图片爬虫,美女图片爬虫代码分享,本文以采集抓取美女图片为例,需要的朋友可以参考下继续鼓捣爬虫,你懂的!粘贴就可以用.
用java实现爬虫抓取网页中的表格数据功能源码
12-20
使用java代码基于MyEclipse开发环境实现爬虫抓取网页中的表格数据，将抓取到的数据在控制台打印出来，需要后续处理的话可以在打印的地方对数据进行操作。包解压后导入MyEclipse就可以使用，在TestCrawTable中右键...
Java爬虫Jsoup+httpclient获取动态生成的数据
10-19
主要介绍了Java爬虫Jsoup+httpclient获取动态生成的数据的相关资料,需要的朋友可以参考下
爬虫采集行业数据_java_爬虫_数据分析_
10-01
通过爬虫技术获取采集的客户资料保存在默认的文件中
Python网络爬虫项目开发实战_数据抓取_编程案例解析实例详解课程教程.pdf
05-03
现在，我们需要让这个爬虫从每个网页中抽取一些数据，然后实现某些事情，这种做法也被称为抓取（scraping）。首先，我们会介绍一个叫做Firebug Lite的浏览器扩展，用于检查网页内容，如果你有一些网络开发背景的话，...
java爬虫获取网页数据导出到excle.zip
03-08
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
Android性能优化三：APP启动时间测量，2024大厂Android面试必问题目
m0_60721823的博客
03-25 1037
图形的形式展示执行时间、调用栈等信息全面，包含所有线程运行时开销严重，整体都会变慢可能会带偏优化方向traceview与cpu profiler结合Android内核的数据，生成HTML报告API18以上使用，推荐TraceCompat轻量级，开销小直观反映CPU利用率相信大多数从事Android开发的朋友们越来越发现，找工作越来越难了，面试的要求越来越高了。
Android Studio 制作简易计算器，GitHub标星1w的Android架构师必备技能
m0_60721823的博客
03-24 1025
>Mainactivity的代码：//判断et中是否清空@Override//实例化对象//设置按钮的点击事件@Overridestr=“”;break;str=“”;break;str=“”;break;
2024年自动化快速上手--Python(8)--函数(上)，面试字节跳动两轮后被完虐
m0_60721823的博客
05-05 1009
函数并非总是直接显示输出的，它还可以便捷的处理一些数据，最后返回一个结果给到你，话不多说，我们看实例理解：names = user_name(‘张’,‘三’)解惑：我们定义一个函数名给定两个形参，我们在不直接在函数体的打印的情况下，想要打印两个形参就得先给一个变量用于接收两个形参的打印传值，并且将这个变量使用return返回结果，后面我们给定一个变量接收函数调用，并且输出这个变量，也就是间接性的输出两个形参。小伙伴：这不是更加的麻烦了，直接打印不方便吗。
python甘肃兰州天气预报数据可视化大屏全屏系统设计与实现（django框架）
最新发布
m0_60721823的博客
05-12 1009
如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。
java爬虫抓取网页数据
05-29
Java爬虫通常使用Jsoup或HttpClient库来抓取网页数据，这里简单介绍一下使用Jsoup抓取网页数据的步骤： 1. 导入Jsoup库 在项目中导入Jsoup库，可以通过maven或gradle等构建工具进行导入。 2. 获取网页源代码 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值