自己手写json解析器

最新推荐文章于 2024-09-18 08:25:41 发布
最新推荐文章于 2024-09-18 08:25:41 发布
阅读量2.1k 收藏
点赞数 1
分类专栏： life

JSON(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C, C++, C#, Java, JavaScript, Perl, Python等）。这些特性使JSON成为理想的数据交换语言。

JSON与JS的区别以及和XML的区别具体请参考百度百科:

https://baike.baidu.com/item/JSON/2462549?fr=aladdin

JSON有两种结构：

第一种：对象

“名称/值”对的集合不同的语言中，它被理解为对象（object），纪录（record），结构（struct），字典（dictionary），哈希表（hash table），有键列表（keyed list），或者关联数组 （associative array）。

对象是一个无序的“‘名称/值’对”集合。一个对象以“{”（左括号）开始，“}”（右括号）结束。每个“名称”后跟一个“:”（冒号）；“‘名称/值’ 对”之间使用“,”（逗号）分隔。

{"姓名": "张三", "年龄": "18"}

第二种：数组

值的有序列表（An ordered list of values）。在大部分语言中，它被理解为数组（array）。

数组是值（value）的有序集合。一个数组以“[”（左中括号）开始，“]”（右中括号）结束。值之间使用“,”（逗号）分隔。

值（value）可以是双引号括起来的字符串（string）、数值(number)、true、false、 null、对象（object）或者数组（array）。这些结构可以嵌套。

[
    { 
    "姓名": "张三",          
    "年龄":"18"    
    },

    {        
    "姓名": "里斯",          
    "年龄":"19"   

    }
]

通过上面的了解可以看出，JSON存在以下几种数据类型（以Java做类比）：

jsonjava
stringJava中的String
numberJava中的Long或Double
true/falseJava中的Boolean
nullJava中的null
[array]Java中的List或Object[]
{“key”:”value”}Java中的Map<String, Object>

JSON解析器的基本原理

输入一串JSON字符串，输出一个JSON对象。

步骤

JSON解析的过程主要分以下两步：

第一步：对于输入的一串JSON字符串我们需要将其解析成一组token流。

例如 JSON字符串{“姓名”: “张三”, “年龄”: “18”} 我们需要将它解析成

 

{、 姓名、 :、 张三、 ,、 年龄、 :、 18、 }

这样一组token流

第二步：根据得到的token流将其解析成对应的JSON对象（JSONObject）或者JSON数组（JSONArray）

下面我们来详细分析下这两个步骤：

获取token流

根据JSON格式的定义，token可以分为以下几种类型

token含义
NULLnull
NUMBER数字
STRING字符串
BOOLEANtrue/false
SEP_COLON:
SEP_COMMA,
BEGIN_OBJECT{
END_OBJECT}
BEGIN_ARRAY[
END_ARRAY]
END_DOCUMENT表示JSON数据结束

 

根据以上的JSON类型，我们可以将其封装成enum类型的TokenType

package com.json.demo.tokenizer;
/**
 BEGIN_OBJECT（{）
 END_OBJECT（}）
 BEGIN_ARRAY（[）
 END_ARRAY（]）
 NULL（null）
 NUMBER（数字）
 STRING（字符串）
 BOOLEAN（true/false）
 SEP_COLON（:）
 SEP_COMMA（,）
 END_DOCUMENT（表示JSON文档结束）
 */

public enum TokenType {
    BEGIN_OBJECT(1),
    END_OBJECT(2),
    BEGIN_ARRAY(4),
    END_ARRAY(8),
    NULL(16),
    NUMBER(32),
    STRING(64),
    BOOLEAN(128),
    SEP_COLON(256),
    SEP_COMMA(512),
    END_DOCUMENT(1024);

    private int code;    // 每个类型的编号

    TokenType(int code) {
        this.code = code;
    }

    public int getTokenCode() {
        return code;
    }
}

 

在TokenType中我们为每一种类型都赋一个数字，目的是在Parser做一些优化操作（通过位运算来判断是否是期望出现的类型）

在进行第一步之前JSON串对计算机来说只是一串没有意义的字符而已。第一步的作用就是把这些无意义的字符串变成一个一个的token，上面我们已经为每一种token定义了相应的类型和值。所以计算机能够区分不同的token，并能以token为单位解读JSON数据。

下面我们封装一个token类来存储每一个token对应的值

package com.json.demo.tokenizer;

/**
 * 存储对应类型的字面量
 */

public class Token {
    private TokenType tokenType;
    private String value;

    public Token(TokenType tokenType, String value) {
        this.tokenType = tokenType;
        this.value = value;
    }

    public TokenType getTokenType() {
        return tokenType;
    }

    public void setTokenType(TokenType tokenType) {
        this.tokenType = tokenType;
    }

    public String getValue() {
        return value;
    }

    public void setValue(String value) {
        this.value = value;
    }

    @Override
    public String toString() {
        return "Token{" +
                "tokenType=" + tokenType +
                ", value='" + value + '\'' +
                '}';
    }
}

 

在解析的过程中我们通过字符流来不断的读取字符，并且需要经常根据相应的字符来判断状态的跳转。所以我们需要自己封装一个ReaderChar类，以便我们更好的操作字符流。

 

package com.json.demo.tokenizer;

import java.io.IOException;
import java.io.Reader;

public class ReaderChar {
    private static final int BUFFER_SIZE = 1024;
    private Reader reader;
    private char[] buffer;
    private int index;      // 下标
    private int size;

    public ReaderChar(Reader reader) {
        this.reader = reader;
        buffer = new char[BUFFER_SIZE];
    }

    /**
     * 返回 pos 下标处的字符，并返回
     * @return
     */
    public char peek() {
        if (index - 1 >= size) {
            return (char) -1;
        }

        return buffer[Math.max(0, index - 1)];
    }

    /**
     * 返回 pos 下标处的字符，并将 pos + 1，最后返回字符
     * @return
     * @throws IOException
     */
    public char next() throws IOException {
        if (!hasMore()) {
            return (char) -1;
        }

        return buffer[index++];
    }

    /**
     * 下标回退
     */
    public void back() {
        index = Math.max(0, --index);
    }

    /**
     * 判断流是否结束
     */
    public boolean hasMore() throws IOException {
        if (index < size) {
            return true;
        }

        fillBuffer();
        return index < size;
    }

    /**
     * 填充buffer数组
     * @throws IOException
     */
    void fillBuffer() throws IOException {
        int n = reader.read(buffer);
        if (n == -1) {
            return;
        }

        index = 0;
        size = n;
    }
}

 

另外我们还需要一个TokenList来存储解析出来的token流

 

package com.json.demo.tokenizer;

import java.util.ArrayList;
import java.util.List;

/**
 * 存储词法解析所得的token流
 */
public class TokenList {
    private List<Token> tokens = new ArrayList<Token>();
    private int index = 0;

    public void add(Token token) {
        tokens.add(token);
    }

    public Token peek() {
        return index < tokens.size() ? tokens.get(index) : null;
    }

    public Token peekPrevious() {
        return index - 1 < 0 ? null : tokens.get(index - 2);
    }

    public Token next() {
        return tokens.get(index++);
    }

    public boolean hasMore() {
        return index < tokens.size();
    }

    @Override
    public String toString() {
        return "TokenList{" +
                "tokens=" + tokens +
                '}';
    }
}

JSON解析比其他文本解析要简单的地方在于，我们只需要根据下一个字符就可知道接下来它所期望读取的到的内容是什么样的。如果满足期望了，则返回 Token，否则返回错误。

为了方便程序出错时更好的debug，程序中自定义了两个exception类来处理错误信息。（具体实现参考exception包）

下面就是第一步中的重头戏（核心代码）：

public TokenList getTokenStream(ReaderChar readerChar) throws IOException {
        this.readerChar = readerChar;
        tokenList = new TokenList();

        // 词法解析，获取token流
        tokenizer();

        return tokenList;
    }

    /**
     * 将JSON文件解析成token流
     * @throws IOException
     */
    private void tokenizer() throws IOException {
        Token token;
        do {
            token = start();
            tokenList.add(token);
        } while (token.getTokenType() != TokenType.END_DOCUMENT);
    }

    /**
     * 解析过程的具体实现方法
     * @return
     * @throws IOException
     * @throws JsonParseException
     */
    private Token start() throws IOException, JsonParseException {
        char ch;
        while (true){   //先读一个字符，若为空白符（ASCII码在[0, 20H]上）则接着读，直到刚读的字符非空白符
            if (!readerChar.hasMore()) {
                return new Token(TokenType.END_DOCUMENT, null);
            }

            ch = readerChar.next();
            if (!isWhiteSpace(ch)) {
                break;
            }
        }

        switch (ch) {
            case '{':
                return new Token(TokenType.BEGIN_OBJECT, String.valueOf(ch));
            case '}':
                return new Token(TokenType.END_OBJECT, String.valueOf(ch));
            case '[':
                return new Token(TokenType.BEGIN_ARRAY, String.valueOf(ch));
            case ']':
                return new Token(TokenType.END_ARRAY, String.valueOf(ch));
            case ',':
                return new Token(TokenType.SEP_COMMA, String.valueOf(ch));
            case ':':
                return new Token(TokenType.SEP_COLON, String.valueOf(ch));
            case 'n':
                return readNull();
            case 't':
            case 'f':
                return readBoolean();
            case '"':
                return readString();
            case '-':
                return readNumber();
        }

        if (isDigit(ch)) {
            return readNumber();
        }

        throw new JsonParseException("Illegal character");
    }

在start方法中，我们将每个处理方法都封装成了单独的函数。主要思想就是通过一个死循环不停的读取字符，然后再根据字符的期待值，执行不同的处理函数。

下面我们详解分析几个处理函数：

private Token readString() throws IOException {
        StringBuilder sb = new StringBuilder();
        while(true) {
            char ch = readerChar.next();
            if (ch == '\\') {   // 处理转义字符
                if (!isEscape()) {
                    throw new JsonParseException("Invalid escape character");
                }
                sb.append('\\');
                ch = readerChar.peek();
                sb.append(ch);
                if (ch == 'u') {   // 处理 Unicode 编码，形如 \u4e2d。且只支持 \u0000 ~ \uFFFF 范围内的编码
                    for (int i = 0; i < 4; i++) {
                        ch = readerChar.next();
                        if (isHex(ch)) {
                            sb.append(ch);
                        } else {
                            throw new JsonParseException("Invalid character");
                        }
                    }
                }
            } else if (ch == '"') {     // 碰到另一个双引号，则认为字符串解析结束，返回 Token
                return new Token(TokenType.STRING, sb.toString());
            } else if (ch == '\r' || ch == '\n') {     // 传入的 JSON 字符串不允许换行
                throw new JsonParseException("Invalid character");
            } else {
                sb.append(ch);
            }
        }
    }

该方法也是通过一个死循环来读取字符，首先判断的是JSON中的转义字符。

JSON中允许出现的有以下几种

\"
\\
\b
\f
\n
\r
\t
\u four-hex-digits
\/

 

 

 

 

具体的处理方法封装在了isEscape()方法中，处理Unicode 编码时要特别注意一下u的后面会出现四位十六进制数。当读取到一个双引号或者读取到了非法字符（’\r’或’、’\n’）循环退出。

判断数字的时候也要特别小心，注意负数，frac，exp等等情况。

通过上面的解析，我们可以得到一组token，接下来我们需要以这组token作为输入，解析出相应的JSON对象

解析出JSON对象

解析之前我们需要定义出JSON对象（JSONObject）和JSON数组(JSONArray)的实体类。

package com.json.demo.jsonstyle;

import com.json.demo.exception.JsonTypeException;
import com.json.demo.util.FormatUtil;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**
 * JSON的对象形式
 * 对象是一个无序的“‘名称/值’对”集合。一个对象以“{”（左括号）开始，“}”（右括号）结束。每个“名称”后跟一个“:”（冒号）；“‘名称/值’ 对”之间使用“,”（逗号）分隔。
 */
public class JsonObject {
    private Map<String, Object> map = new HashMap<String, Object>();

    public void put(String key, Object value) {
        map.put(key, value);
    }

    public Object get(String key) {
        return map.get(key);
    }
    ...

}

package com.json.demo.jsonstyle;

import com.json.demo.exception.JsonTypeException;
import com.json.demo.util.FormatUtil;

import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

/**
 * JSON的数组形式
 * 数组是值（value）的有序集合。一个数组以“[”（左中括号）开始，“]”（右中括号）结束。值之间使用“,”（逗号）分隔。
 */
public class JsonArray {
    private List list = new ArrayList();

    public void add(Object obj) {
        list.add(obj);
    }

    public Object get(int index) {
        return list.get(index);
    }

    public int size() {
        return list.size();
    }
    ...
}

 

之后我们就可以写解析类了，由于代码较长，这里就不展示了。有兴趣的可以去GitHub上下载。实现逻辑比较简单，也易于理解。

解析类中的parse方法首先根据第一个token的类型选择调用parseJsonObject（）或者parseJsonArray（），进而返回JSON对象或者JSON数组。上面的解析方法中利用位运算来判断字符的期待值既提高了程序的执行效率也有助于提高代码的ke’du’xi

完成之后我们可以写一个测试类来验证下我们的解析器的运行情况。我们可以自己定义一组JSON串也可以通过HttpUtil工具类从网上获取。最后通过FormatUtil类来规范我们输出。

 

推荐的学习java的网站http://how2j.cn/?p=17040

YzhYcj
关注
专栏目录
JSON解析器
jie1521836的博客
02-13 906
一、JSON解析器介绍 相信大家在平时的开发中没少与JSON打交道，那么我们平常使用的一些JSON解析库都为我们做了哪些工作呢？这里我们以知乎日报API返回的JSON数据来介绍一下两个主流JSON解析库的用法。我们对地址 http://news-at.zhihu.com/api/4/news/latest进行GET请求，返回的JSON响应的整体结构如下： {     date:...
Java实现自己的Json解析器——Json字符串解析原理
Max.blog
09-02 3023
概述JSON：JavaScript 对象表示法（JavaScript Object Notation）。JSON 是存储和交换文本信息的语法。类似 XML。JSON 比 XML 更小、更快，更易解析。在JSON中，分为6种对象： 数字（整数或浮点数） 字符串（在双引号中） 逻辑值（true 或 false） 数组（JsonArray） 对象（JsonObject） null 基本对象的实现JsonO
自己实现一个简单的JSON解析器
07-18
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。相对于另一种数据交换格式 XML，JSON 有着很多优点。例如易读性更好，占用空间更少等。在 web 应用开发领域内，得益于 JavaScript 对 JSON 提供的良好支持，JSON 要比 XML 更受开发人员青睐。所以作为开发人员，如果有兴趣的话，还是应该深入了解一下 JSON 相关的知识。本着探究 JSON 原理的目的，我将会在这DEMO中实现了一个简单的JSON解析器。由于 JSON 本身比较简单，解析起来也并不复杂。所以如果大家感兴趣的话，在看完本DEMO后，不妨自己动手实现一个 JSON 解析器。
撸一个JSON解析器
weixin_34195546的博客
06-29 662
原文地址 JSON JSON(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C, C++, C#, Java, JavaScript, Perl, Python等）。这些...
使用JSON输出解析器：从入门到进阶
最新发布
bhawfgrcbtwny的博客
09-18 284
通过本文的介绍，你已经掌握了如何在生成模型中使用JSON输出解析器。接下来，你可以查看获得结构化输出的更多技术以更深入了解。
Java实现自己的Json解析器
09-02
Java实现自己的Json解析器——Json字符串解析原理 根据提取到的字符，转入不同的解析方法中， 例如字符是t，说明值可能是true，只需检查后面三个字符，如果是r、u、e，则可以直接返回true。 字符是f，说明值可能是false，只需检查后面四个字符，如果是a、l、s、e，则可以直接返回false。 碰到 \"，说明是字符串，在下一个\"出现之前，把扫描出来的字符都当成字符串中的字符，放到一个StringBuilder中去。 碰到 [ 符号，说明是数组了，就需要new一个JsonArray，在下一个 ] 符号出现之前，调用nextObject方法，把解析到的对象都放到这个JsonArray里面去。 碰到 { 符号，说明是JsonObject，就new一个JsonObject，这里每次需要连续调用两次nextObject，第一次结果作为key，第二次结果作为value。放到JsonObject中去。
手把手教你实现一个 JSON 解析器！
勇往直前的专栏
03-03 478
1. 背景 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。相对于另一种数据交换格式 XML，JSON 有着诸多优点。比如易读性更好，占用空间更少等。 在 web 应用开发领域内，得益于 JavaScript 对 JSON 提供的良好支持，JSON 要比 XML 更受开发人员青睐。所以作为开发人员，如果有兴趣的话，还是应该深入了解一下 JSON 相...
用Python手写一个JSON解析程序
YotWei
12-22 984
JSON的组成 一个合法的JSON字符串可以包含这几种元素： 特殊符号，如 "{"  "}" 表示一个JSON Object，"[" "]" 表示一个JSON Array，":"用于分隔key-value，"," 用于分隔两个元素 字符串，用引号引起来 数字，包含0-9，浮点数带有"."，表示符号可带有"+" "-" 常
实现简单的 JSON 解析Java工具类 | Java & 反射
OnedayIlove的博客
04-06 463
以前学习 Java 反射 API的时候，顺手写了一个简陋的 JSON 解析类，实现了 dumps()和 loads() 方法，功能是把 Java Bean 解析成 JSON 字符串返回 和 把 JSON 字符串解析为 Java Bean 对象返回。 实现非常的简陋，目前支持的 JSON 数据类型只有 string | boolean | number | array ，暂不支持嵌套的 obj...
web前端+jquery与ajax+json+手写前端完全实现分页
05-14
本主题聚焦于"web前端+jQuery与Ajax+JSON+手写前端完全实现分页"，这是一种高效的方法来处理大量数据，提升用户体验，同时减轻服务器压力。下面将详细介绍这些关键技术点。 **jQuery** 是一个快速、简洁的...
手写Json解析器学习心得
炭烧生蚝的博客
12-08 186
一. 介绍 一周前，老同学阿立给我转了一篇知乎回答，答主说检验一门语言是否掌握的标准是实现一个Json解析器，网易游戏过去的Python入门培训作业之一就是五天时间实现一个Json解析器。 知乎回答—链接 该回答对应的问题提及了一个开源的“从零开始的JSON库教程”，恰好我刚开始学习go语言，对Json的理解也仅停留在一种端到端之间交互的数据格式，于是便跟着教程写了一遍，受益良多，至少对我这种编程经验少的人来说十分有帮助，以下是我的学习心得。 从零开始的JSON库教程地址—链接 自己的实现—链接 二. 总.
手写解析json
04-12
手写解析json，可以直接使用，打包安卓不在烦恼。 很值得你去拥有。
tv_ZYPLAYERjson资源_zyplayer影视源_zyplayer源json_ZY-Player-master_
10-04
直播、影视源
手写javascript json解析器
weixin_34406086的博客
04-02 357
json是一种通用的数据格式，语法较为简单，通过写它的解析器是一种非常好的入门编译的方法。 词法分析 将输入的字符串切割成一个一个的token const TokenTypes = { OPEN_OBJECT: '{', CLOSE_OBJECT: '}', OPEN_ARRAY: '[', CLOSE_ARRAY: ']', KEY: 'key', STRING: 'st...
Java之手写JSON解析器
一夜梦惊人的博客
03-03 891
一个算是高性能的json解析器
自己动手实现一个简单的JSON解析器
qq_39235296的博客
10-25 880
介绍 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。相对于另一种数据交换格式 XML，JSON 有着诸多优点。比如易读性更好，占用空间更少等。在 web 应用开发领域内，得益于 JavaScript 对 JSON 提供的良好支持，JSON 要比 XML 更受开发人员青睐。所以作为开发人员，如果有兴趣的话，还是应该深入了解一下 JSON 相关的知识。...
高手教您编写简单的JSON解析器
w3cschools的博客
05-07 887
编写JSON解析器是熟悉解析技术的最简单方法之一。格式非常简单。它是递归定义的，所以与解析Brainfuck相比，你会遇到轻微的挑战 ; 你可能已经使用JSON。除了最后一点之外，解析 Scheme的S表达式可能是更简单的任务。解析通常分为两个阶段：词法分析和句法分析。词法分析将源输入分解为称为“令牌”的语言中最简单的可分解元素。句法分析（通常称为“解析”）会接收到令牌列表，并尝试查找其中的模式以...
Java之手写JSON解析器(二)
一夜梦惊人的博客
03-12 315
首先就是这个SIZE，（1）一个int为4bytes，那么1024*64*4=256Kb，但其实我是想要设置1024个就可以，这样子刚好4Kb，是一个page cache的大小，但是可能1000还是不太够用吧，于是就网大了写。3.关于OOM的优化，之前是采用的LinkedList来收集Token的，但是这样子由于Token很小，利用率很低，过大的文件会导致OOM，所以我这里进行了优化。PS：打脸操作来了，小文件时这个操作没有太多的性能损耗，但是一旦到了50MB的就显示出来了，所以改回正常操作。
Koa2 中间件实现解析：以装饰器模式手写中间件
`koa-bodyparser`是一个常见的Koa中间件，用于解析POST请求中的JSON或表单数据，并将其挂载到`ctx.request.body`上。要使用这个中间件，首先需要通过npm安装`koa-bodyparser`，然后在你的应用中引入并使用`app.use...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值