【Java爬虫】008-网页内容解析：JSON解析

最新推荐文章于 2022-07-07 15:39:39 发布
最新推荐文章于 2022-07-07 15:39:39 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： Java爬虫 文章标签： json java Java爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29689343/article/details/108326717
版权

一、JSON矫正

1、概述

使用网络爬虫向服务器发送请求时，服务器经常返回的数据是包含JSON的字符串，如下所示：

jQuery6({
	"id":"07",
	"language":"C++",
	"edition":"second",
	"author":"E.Balagurusamy"
})

上述字符串虽包含JSON，但并不能直接用org.json、Gson和Fastjson等工具进行直接解析，因为其头部和尾部包含多余的字符（“jQuery6(”和“)”）。为使上述字符串能够正常解析，需要对其进行预处理（掐头去尾）操作，将其转化成标准的JSON字符串。

 

2、代码示例

package com.zb.book.parse;

//JSON预处理
public class ParseJSON {
    public static void main(String[] args) {
        //JSON
        String json = "jQuery6({\n" +
                "\t\"id\":\"07\",\n" +
                "\t\"language\":\"C++\",\n" +
                "\t\"edition\":\"second\",\n" +
                "\t\"author\":\"E.Balagurusamy\"\n" +
                "})";
        //预处理
        String attr = json.split("\\(")[1];
        System.out.println(attr.substring(0,attr.length()-1));
    }
}

运行结果：

{
	"id":"07",
	"language":"C++",
	"edition":"second",
	"author":"E.Balagurusamy"
}

 

3、补充

与处理好的JSON字符串可以复制到JSON在线校准网站进行校准（常用）；

 

二、org.json解析JSON

1、概述

org.json是Java中常用的一款JSON解析工具，其常用的两个类是JSONObject和JSONArray；

 

2、Maven坐标

<!-- https://mvnrepository.com/artifact/org.json/json -->
<dependency>
    <groupId>org.json</groupId>
    <artifactId>json</artifactId>
    <version>20200518</version>
</dependency>

 

3、JSONObject类

 

4、代码演示

说明：

在解析数据时，常用getString(String key)方法获取JSON数据中key值对应的value值；

代码：

package com.zb.book.parse;

import org.json.JSONObject;

//JSON解析
public class ParseJSON {
    public static void main(String[] args) {
        //JSON
        String json = "jQuery6({\n" +
                "\t\"id\":\"07\",\n" +
                "\t\"language\":\"C++\",\n" +
                "\t\"edition\":\"second\",\n" +
                "\t\"author\":\"E.Balagurusamy\"\n" +
                "})";
        //预处理
        String attr = json.split("\\(")[1];
        attr = attr.substring(0,attr.length()-1);
        //解析
        JSONObject jsonObject = new JSONObject(attr);
        System.out.println(jsonObject.getString("id"));
        System.out.println(jsonObject.getString("language"));
        System.out.println(jsonObject.getString("edition"));
        System.out.println(jsonObject.getString("author"));
    }
}

运行结果：

07
C++
second
E.Balagurusamy

 

5、JSONArray类

概述：

JSONArray类的功能是解析JSON数组，该类中包括一些实例化JSONArray对象的构造方法、获取指定JSONObject对象的方法等。

 

代码演示：

package com.zb.book.parse;

import org.json.JSONArray;
import org.json.JSONObject;

//JSON解析
public class ParseJSON {
    public static void main(String[] args) {
        //JSON
        String json = "jQuery6([{\n" +
                "\t\"id\":\"07\",\n" +
                "\t\"language\":\"C++\",\n" +
                "\t\"edition\":\"second\",\n" +
                "\t\"author\":\"E.Balagurusamy\"\n" +
                "},{\n" +
                "\t\"id\":\"08\",\n" +
                "\t\"language\":\"C++\",\n" +
                "\t\"edition\":\"second\",\n" +
                "\t\"author\":\"E.Balagurusamy\"\n" +
                "}])";
        //预处理
        String attr = json.split("\\(")[1];
        attr = attr.substring(0,attr.length()-1);
        //解析
        JSONArray jsonArray = new JSONArray(attr);
        for (int i = 0; i < jsonArray.length(); i++) {
            JSONObject jsonObject = jsonArray.getJSONObject(i);
            System.out.println(jsonObject.getString("id"));
            System.out.println(jsonObject.getString("language"));
            System.out.println(jsonObject.getString("edition"));
            System.out.println(jsonObject.getString("author"));
            System.out.println();
        }
    }
}

运行结果：

07
C++
second
E.Balagurusamy

08
C++
second
E.Balagurusamy

 

三、Gson解析JSON

1、概述

Gson是Google提供的处理JSON数据的Java类库，主要用于转换Java对象和JSON对象；

 

2、Maven坐标

<!-- https://mvnrepository.com/artifact/com.google.code.gson/gson -->
<dependency>
    <groupId>com.google.code.gson</groupId>
    <artifactId>gson</artifactId>
    <version>2.8.6</version>
</dependency>

 

3、代码示例

解析JSON对象：

package com.zb.book.parse.gson;

import com.google.gson.Gson;

//Gson解析JSON对象
public class ParseJSONObject {
    public static void main(String[] args) {
        //实例化Gson对象
        Gson gson = new Gson();//方法一
        //Gson gson = new GsonBuilder().create();方法二
        String json = "{\n" +
                "\t\"name\":\"Java程序设计\",\n" +
                "\t\"page\":\"800\",\n" +
                "\t\"money\":\"98\"\n" +
                "}";
        //解析成Book对象
        Book book = gson.fromJson(json, Book.class);
        System.out.println(book.toString());
        //book{name='Java程序设计', page='800', money='98'}
    }
}
class Book {
    private String name;
    private String page;
    private String money;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getPage() {
        return page;
    }

    public void setPage(String page) {
        this.page = page;
    }

    public String getMoney() {
        return money;
    }

    public void setMoney(String money) {
        this.money = money;
    }

    @Override
    public String toString() {
        return "book{" +
                "name='" + name + '\'' +
                ", page='" + page + '\'' +
                ", money='" + money + '\'' +
                '}';
    }
}

解析JSON对象数组：

package com.zb.book.parse.gson;

import com.google.gson.Gson;
import com.google.gson.reflect.TypeToken;

import java.lang.reflect.Type;
import java.util.List;

//Gson解析JSON对象
public class ParseJSONObject {
    public static void main(String[] args) {
        //实例化Gson对象
        Gson gson = new Gson();//方法一
        //Gson gson = new GsonBuilder().create();方法二
        String json = "[{\n" +
                "\t\"name\":\"Java程序设计\",\n" +
                "\t\"page\":\"800\",\n" +
                "\t\"money\":\"98\"\n" +
                "},{\n" +
                "\t\"name\":\"C语言程序设计\",\n" +
                "\t\"page\":\"700\",\n" +
                "\t\"money\":\"88\"\n" +
                "}]";
        //TypeToken操作，可支持类型包括泛型
        Type listType = new TypeToken<List<Book>>() {}.getType();
        //转化成集合
        List<Book> list = gson.fromJson(json, listType);
        //循环打印
        for (Book book : list) {
            System.out.println(book.toString());
        }
        //book{name='Java程序设计', page='800', money='98'}
        //book{name='C语言程序设计', page='700', money='88'}
    }
}
class Book {
    private String name;
    private String page;
    private String money;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getPage() {
        return page;
    }

    public void setPage(String page) {
        this.page = page;
    }

    public String getMoney() {
        return money;
    }

    public void setMoney(String money) {
        this.money = money;
    }

    @Override
    public String toString() {
        return "book{" +
                "name='" + name + '\'' +
                ", page='" + page + '\'' +
                ", money='" + money + '\'' +
                '}';
    }
}

解析复杂嵌套式JSON数据：

json示例：

{
	"name" : "訾博",
	"tall" : "183CM",
	"books" : [
		{
		"name":"Java程序设计",
		"page":"800",
		"money":"98"
		},{
			"name":"C语言程序设计",
			"page":"700",
			"money":"88"
		}
	]
}

java代码：

package com.zb.book.parse.gson;

import com.google.gson.Gson;

import java.util.List;

//Gson解析JSON对象
public class ParseJSONObject {
    public static void main(String[] args) {
        //实例化Gson对象
        Gson gson = new Gson();//方法一
        //Gson gson = new GsonBuilder().create();方法二
        String json = "{\n" +
                "\t\"name\" : \"訾博\",\n" +
                "\t\"tall\" : \"183CM\",\n" +
                "\t\"books\" : [\n" +
                "\t\t{\n" +
                "\t\t\"name\":\"Java程序设计\",\n" +
                "\t\t\"page\":\"800\",\n" +
                "\t\t\"money\":\"98\"\n" +
                "\t\t},{\n" +
                "\t\t\t\"name\":\"C语言程序设计\",\n" +
                "\t\t\t\"page\":\"700\",\n" +
                "\t\t\t\"money\":\"88\"\n" +
                "\t\t}\n" +
                "\t]\n" +
                "}";
        //转化成集合
        People people = gson.fromJson(json, People.class);
        //打印
        System.out.println(people);
        List<Book> books = people.getBooks();
        for (Book book : books) {
            System.out.println(book);
        }
    }
}
class People{
    private String name;
    private String tall;
    private List<Book> books;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getTall() {
        return tall;
    }

    public void setTall(String tall) {
        this.tall = tall;
    }

    public List<Book> getBooks() {
        return books;
    }

    public void setBooks(List<Book> books) {
        this.books = books;
    }

    @Override
    public String toString() {
        return "People{" +
                "name='" + name + '\'' +
                ", tall='" + tall + '\'' +
                ", books=" + books +
                '}';
    }
}
class Book {
    private String name;
    private String page;
    private String money;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getPage() {
        return page;
    }

    public void setPage(String page) {
        this.page = page;
    }

    public String getMoney() {
        return money;
    }

    public void setMoney(String money) {
        this.money = money;
    }

    @Override
    public String toString() {
        return "book{" +
                "name='" + name + '\'' +
                ", page='" + page + '\'' +
                ", money='" + money + '\'' +
                '}';
    }
}

运行结果：

People{name='訾博', tall='183CM', books=[book{name='Java程序设计', page='800', money='98'}, book{name='C语言程序设计', page='700', money='88'}]}
book{name='Java程序设计', page='800', money='98'}
book{name='C语言程序设计', page='700', money='88'}

 

四、Fastjson解析JSON

1、概述

Fastjson是阿里巴巴基于Java语言开发的高性能且功能完善的JSON操作类库；

Fastjson解析JSON的方式与Gson类似，都是讲JSON数据转化为JavaBean对象；

 

2、Maven坐标

<!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version>1.2.73</version>
</dependency>

 

3、代码示例

解析JSON对象：

package com.zb.book.parse.fastjson;

import com.alibaba.fastjson.JSON;

//使用fastJson解析JSON对象
public class ParseJSONObject {
    public static void main(String[] args) {
        String json = "{\n" +
                "\t\"name\":\"Java程序设计\",\n" +
                "\t\"page\":\"800\",\n" +
                "\t\"money\":\"98\"\n" +
                "}";
        //使用fastJson解析JSON对象
        Book book = JSON.parseObject(json, Book.class);
        System.out.println(book.toString());
        //book{name='Java程序设计', page='800', money='98'}
    }
}
class Book {
    private String name;
    private String page;
    private String money;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getPage() {
        return page;
    }

    public void setPage(String page) {
        this.page = page;
    }

    public String getMoney() {
        return money;
    }

    public void setMoney(String money) {
        this.money = money;
    }

    @Override
    public String toString() {
        return "book{" +
                "name='" + name + '\'' +
                ", page='" + page + '\'' +
                ", money='" + money + '\'' +
                '}';
    }
}

解析JSON数组：

package com.zb.book.parse.fastjson;

import com.alibaba.fastjson.JSON;

import java.util.List;

//使用fastJson解析JSON对象
public class ParseJSONObject {
    public static void main(String[] args) {
        String json = "[\n" +
                "\t{\n" +
                "\t\"name\":\"Java程序设计\",\n" +
                "\t\"page\":\"800\",\n" +
                "\t\"money\":\"98\"\n" +
                "\t},{\n" +
                "\t\t\"name\":\"C语言程序设计\",\n" +
                "\t\t\"page\":\"700\",\n" +
                "\t\t\"money\":\"88\"\n" +
                "\t}\n" +
                "]";
        //使用fastJson解析JSON对象
        //方法一
        List<Book> books = JSON.parseArray(json, Book.class);
        //方法二
        //List<Book> books = JSON.parseObject(json, new TypeReference<List<Book>>() {});
        for (Book book : books) {
            System.out.println(book.toString());
        }
        //book{name='Java程序设计', page='800', money='98'}
        //book{name='C语言程序设计', page='700', money='88'}
    }
}
class Book {
    private String name;
    private String page;
    private String money;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getPage() {
        return page;
    }

    public void setPage(String page) {
        this.page = page;
    }

    public String getMoney() {
        return money;
    }

    public void setMoney(String money) {
        this.money = money;
    }

    @Override
    public String toString() {
        return "book{" +
                "name='" + name + '\'' +
                ", page='" + page + '\'' +
                ", money='" + money + '\'' +
                '}';
    }
}

 

 

 

 

 

 

 

 

 

 

 

訾博ZiBo
关注
专栏目录
JSON解析网络数据
chuck_phonics的博客
08-21 848
1.设置info允许网络请求 2.找到接口文件运行到鬼脸 3.Appdelegate指定默认根视图,并且建立MVC管理模式,建立model类,以及自定义cellXIB类,model中图示: 这里主要是要在鬼脸接口文件中找到对应的对象名并且定义. 4.在自定义cell中设置xib的位置界面设置,并且通过拖拽完成在.h中定义属性 并且在.h声明方法- (void)setValueFo...
Python爬虫——使用JSON库解析JSON数据_爬虫json解析
最新发布
m0_60721823的博客
04-30 732
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。发现有 js 后缀的文件，这就是我们想要的 json 数据了。
java利用json规则抓取网页内容源码（爬虫）
08-25
java根据json规则抓取网页内容，方便页面变动的维护，可以根据需要自定义规则或源码，json规则与jquery相似
JAVA爬取json数据
zzh_pride的博客
07-19 1773
JAVA爬取json数据 爬取码市上的项目生成文档方便查看。 查看码市的项目网址，便可看出这些项目都不是直接加载出来的，通过xhr看出是通过json的形式再次获取到的，获取到的地址中也可以看出分页也是通过最后的数字参数来进行区分的。 码市项目页源码 代码如下 package Test.Write; import java.io.BufferedReader; import java.io.File; import java.io.FileOutputStream; import java.io
JSON前端页面解析
weixin_30315435的博客
07-11 457
JSON 指的是 JavaScript 对象表示法（JavaScriptObjectNotation） JSON 是轻量级的文本数据交换格式 JSON 独立于语言* JSON 具有自我描述性，更易理解 JSON 使用 JavaScript 语法来描述数据对象，但是 JSON 仍然独立于语言和平台。JSON 解析器和 JSON 库支持许多不同的编程语言。 这个 employe...
Java-->Json解析网页数据
weixin_30725467的博客
08-24 157
--> 官方解析jar包：链接：http://pan.baidu.com/s/1pKDnXKv 密码：694d --> 离线Json格式检测工具：链接：http://pan.baidu.com/s/1eSHkrOe 密码：ju95 --> HttpUtil 工具类 1 package com.dragon.java.jsonwebdata; 2 3 im...
百度地图开发java源码-springboot-crawler:springboot入门，爬虫项目实战
06-06
Lombok、okHttp、jwt、gson序列化与反序列化、ognl（对象图导航，简化json对象解析） 其它：QQ登录、微信扫码登录 三、开发环境 3.1、工具与环境 IDEA 2018.3.5 Maven 3 JDK8 Mysql 5.7+ Win10 64位系统 四、项目...
爬虫代码matlab-resume_projects:展示项目
06-07
MATLAB虽然不是传统的爬虫开发语言，如Python或Java，但它提供了强大的数值计算和数据处理能力，因此在特定情况下也会被用于构建网络爬虫。 【描述解析】 "爬虫代码matlab" 描述简单明了，直接点出了这个项目的核心...
java爬虫登录验证码解析.zip
03-08
请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则...
课程表的java爬虫实现--基于“强智教务系统”.zip
03-24
Java爬虫是一种程序，它使用Java编程语言来模拟浏览器行为，自动抓取网页上的数据。在这个过程中，我们通常会用到如Jsoup、HttpClient或WebMagic等Java爬虫框架。这些框架提供了方便的API，用于发送HTTP请求、解析...
java 获取json网页数据
01-18
这是一个获取json网页数据的java实例
java中http请求，获取json数据的代码示例
03-29
有些时候会遇到请求http，获取相应的json或者xml数据，今天整理了一点httpClient请求的示例代码。主要是根据相应的http地址，以及相关秘钥，通过HttpClient去发起请求，获取数据然后后台取解析json或者xml。
json页面解析
weixin_30827565的博客
04-14 68
List<TjfxDTO> cyjbList = new ArrayList<TjfxDTO>(); cyjbList=tjfxService.cyjb_wcjd(tjfxDTO); if(cyjbList != null && cyjbList.size()>0){ for(int i=0;i<cyjbList.size();i...
java获取json格式数据_JAVA 爬虫 获取json格式的数据并生成javaBean
weixin_36358109的博客
02-13 629
一、写在最前这是我第一篇非作业的博客，这一切都是因为该死的java爬虫，我在爬取json数据是感受到了深深的恶意，而这恶意来源也非常清楚——python用起来简单。所以我把问题解决了立马想到要写一篇帖子记录下这个弄了一下午的问题。对了，同时提醒自己在最近把序列化，反射机制再过一遍，快忘完了！！！二、使用fastjson 解决这是目标请求：http://www.nmc.cn/f/rest/provi...
Java爬虫--json数据处理：JSONObject的使用
个人博客
04-23 1433
在Maven中添加依赖： <dependency> <groupId>org.json</groupId> <artifactId>json</artifactId> <version>20180813</version> </dependency> ...
基于java的网络爬虫框架(实现京东数据的爬取，并将插入数据库)
热门推荐
qy20115549的博客
08-14 7万+
目录网络爬虫框架 网络爬虫的逻辑顺序 网络爬虫实例教学 model main util parse db 再看main方法 爬虫效果展示网络爬虫框架写网络爬虫，一个要有一个逻辑顺序。本文主要讲解我自己经常使用的一个顺序，并且本人经常使用这个框架来写一些简单的爬虫，复杂的爬虫，也是在这个基础上添加其他程序。 首先，我的工程都是使用maven建的，不会使用maven的，请看之前写的网络爬虫基础。使用S
每日一文APP实现(网页json解析)
qq_48944757的博客
07-07 789
能实现每日一文的APP（网页json解析） API端口由独角兽API提供 http://lkaa.top/
[Java爬虫和接口] 需要知道的Json解析和区分Json解析库的JSONArray/JSONObject
arr的博客
04-04 432
爬虫和接口编写都需要知道的json解析JSON是什么阿里json处理库引入使用JSONObject特点解析JSONArray特点解析 JSON是什么 JSON实际上就是一个数据的格式(英文全称是:JavaScript Object Notation;中文全称:js对象标记法) 通俗易懂地说,就是将有层次的东西转化成String或者对象,更容易给人看/给机器看,一目了然. 一般碰到json我都会...
网络爬虫返回json处理数据
weixin_34375233的博客
01-08 443
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于JavaScript（Standard ECMA-262 3rd Edition - December 1999）的一个子集。 JSON 表示名称 / 值对的方式 按照最简单的形式，可以用下面这样的 JSON 表示"名称 / 值对"：             { "name": "Brett"...
Java爬虫解决数据异步加载：Selenium与反向解析法
"本文主要探讨了Java爬虫在面对数据异步加载问题时的解决方案，提供了两种策略：内置浏览器内核（如Selenium、HtmlUnit、PhantomJS）和反向解析法。这两种方法都有其优缺点，前者能处理JS渲染的页面但效率较低，后者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值