fastjson词法和语法解析

最新推荐文章于 2023-03-15 14:54:07 发布
最新推荐文章于 2023-03-15 14:54:07 发布
阅读量1.5k 收藏 3
点赞数 1
分类专栏： fastjson 文章标签： fastjson词法和语法解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41563161/article/details/105212265
版权
本文详细介绍了fastjson的词法和语法解析过程，包括token定义、基础类型实现和对象实现的解析。重点讲解了JSONToken成员、JSONLexerBase成员函数，以及扫描字符串、数字、Boolean、标识符和注释的方法。通过对fastjson词法分析的深入理解，为后续的反序列化奠定了基础。
摘要由CSDN通过智能技术生成

                                fastjson词法和语法解析

目录

                                fastjson词法和语法解析

一 token定义解析

JSONToken成员

(二) - 基础类型实现解析

JSON Token解析

JSONLexerBase成员函数

推断token类型

跳过注释

扫描字符串

扫描数字类型

扫描Boolean

扫描标识符

扫描十六进制数

根据期望字符扫描token

(三) - 针对对象实现解析

JSON Token解析

JSONLexerBase成员函数

Int类型字段解析

Long类型字段解析

Float类型字段解析

String类型字段解析

在这里插入图片描述

一 token定义解析

词法分析是反序列化的重要基础，在其他框架druid、parsii等框架都用到了词法分析的技术，个人认为在讲反序列化之前讲词法分析更重要。

写出优秀框架之前，先理解大量优秀框架的实现对未来自己写框架非常有帮助！！！

好了，废话不多说，来看看fastjson中定义的token吧。

JSONToken成员

com.alibaba.fastjson.parser.JSONToken定义了fastjson需要的token标识符：

    /** 1 关联到 error */
    public final static int ERROR                = 1;
    /** 2 关联到 int */
    public final static int LITERAL_INT          = 2;
    /** 3 关联到 float */
    public final static int LITERAL_FLOAT        = 3;
    /** 4 关联到 string */
    public final static int LITERAL_STRING       = 4;
    /** 5 关联到 iso8601 */
    public final static int LITERAL_ISO8601_DATE = 5;
    /** 6 关联到 true */
    public final static int TRUE                 = 6;
    /** 7 关联到 false */
    public final static int FALSE                = 7;
    /** 8 关联到 null */
    public final static int NULL                 = 8;
    /** 9 关联到 new */
    public final static int NEW                  = 9;
    /** 10 关联到 ( */
    public final static int LPAREN               = 10;
    /** 11 关联到 ) */
    public final static int RPAREN               = 11;
    /** 12 关联到 { */
    public final static int LBRACE               = 12;
    /** 13 关联到 } */
    public final static int RBRACE               = 13;
    /** 14 关联到 [ */
    public final static int LBRACKET             = 14;
    /** 15 关联到 ] */
    public final static int RBRACKET             = 15;
    /** 16 关联到 , */
    public final static int COMMA                = 16;
    /** 17 关联到 : */
    public final static int COLON                = 17;
    /** 18 关联到 ident */
    public final static int IDENTIFIER           = 18;
    /** 19 关联到 fieldName */
    public final static int FIELD_NAME           = 19;
    /** 20 关联到 EOF */
    public final static int EOF                  = 20;
    /** 21 关联到 Set */
    public final static int SET                  = 21;
    /** 22 关联到 TreeSet */
    public final static int TREE_SET             = 22;
    /** 23 关联到 undefined */
    public final static int UNDEFINED            = 23; // undefined
    /** 24 关联到 ; */
    public final static int SEMI                 = 24;
    /** 25 关联到 . */
    public final static int DOT                  = 25;
    /** 26 关联到 hex */
    public final static int HEX                  = 26;

    public static String name(int value) {
        switch (value) {
            case ERROR:
                return "error";
            case LITERAL_INT:
                return "int";
            case LITERAL_FLOAT:
                return "float";
            case LITERAL_STRING:
                return "string";
            case LITERAL_ISO8601_DATE:
                return "iso8601";
            case TRUE:
                return "true";
            case FALSE:
                return "false";
            case NULL:
                return "null";
            case NEW:
                return "new";
            case LPAREN:
                return "(";
            case RPAREN:
                return ")";
            case LBRACE:
                return "{";
            case RBRACE:
                return "}";
            case LBRACKET:
                return "[";
            case RBRACKET:
                return "]";
            case COMMA:
                return ",";
            case COLON:
                return ":";
            case SEMI:
                return ";";
            case DOT:
                return ".";
            case IDENTIFIER:
                return "ident";
            case FIELD_NAME:
                return "fieldName";
            case EOF:
                return "EOF";
            case SET:
                return "Set";
            case TREE_SET:
                return "TreeSet";
            case UNDEFINED:
                return "undefined";
            case HEX:
                return "hex";
            default:
                return "Unknown";
        }
    }

(二) - 基础类型实现解析

JSON Token解析

JSONLexerBase定义并实现了json串实现解析机制的基础，在理解后面反序列化之前，我们先来看看并理解重要的属性：

    /** 当前token含义 */
    protected int                            token;
    /** 记录当前扫描字符位置 */
    protected int                            pos;
    protected int                            features;

    /** 当前有效字符 */
    protected char                           ch;
    /** 流(或者json字符串)中当前的位置，每次读取字符会递增 */
    protected int                            bp;

    protected int                            eofPos;

    /** 字符缓冲区 */
    protected char[]                         sbuf;

    /** 字符缓冲区的索引，指向下一个可写
     *  字符的位置，也代表字符缓冲区字符数量
     */
    protected int                            sp;

    /**
     * number start position
     * 可以理解为 找到token时 token的首字符位置
     * 和bp不一样，这个不会递增，会在开始token前记录一次
     */
    protected int                            np;

JSONLexerBase成员函数

在开始分析词法分析实现过程中，我发现中解析存在大量重复代码实现或极其类似实现，重复代码主要解决类似c++内联调用，极其相似代码实现我会挑选有代表性的来说明（一般实现较为复杂），没有说明的成员函数可以参考代码注释。

推断token类型

fastjson token类型推断当前json字符串是哪种类型的token, 比如是字符串、花括号和逗号等等。

    public final void nextToken() {
        /** 将字符buffer pos设置为初始0 */
        sp = 0;

        for (;;) {
            /** pos记录为流的当前位置 */
            pos = bp;

            if (ch == '/') {
                /** 如果是注释// 或者 \/* *\/ 注释，跳过注释 */
                skipComment();
                continue;
            }

            if (ch == '"') {
                /** 读取引号内的字符串 */
                scanString();
                return;
            }

            if (ch == ',') {
                /** 跳过当前，读取下一个字符 */
                next();
                token = COMMA;
                return;
            }

            if (ch >= '0' && ch <= '9') {
                /** 读取整数 */
                scanNumber();
                return;
            }

            if (ch == '-') {
                /** 读取负数 */
                scanNumber();
                return;
            }

            switch (ch) {
                /** 读取单引号后面的字符串，和scanString逻辑一致 */
                case '\'':
                    if (!isEnabled(Feature.AllowSingleQuotes)) {
                        throw new JSONException("Feature.AllowSingleQuotes is false");
                    }
                    scanStringSingleQuote();
                    return;
                case ' ':
                case '\t':
                case '\b':
                case '\f':
                case '\n':
                case '\r':
                    next();
                    break;
                case 't': // true
                    /** 读取字符true */
                    scanTrue();
                    return;
                case 'f': // false
                    /** 读取字符false */
                    scanFalse();
                    return;
                case 'n': // new,null
                    /** 读取为new或者null的token */
                    scanNullOrNew();
                    return;
                case 'T':
                case 'N': // NULL
                case 'S':
                case 'u': // undefined
                    /** 读取标识符，已经自动预读了下一个字符 */
                    scanIdent();
                    return;
                case '(':
                    /** 读取下一个字符 */
                    next();
                    token = LPAREN;
                    return;
                case ')':
                    next();
                    token = RPAREN;
                    return;
                case '[':
                    next();
                    token = LBRACKET;
                    return;
                case ']':
                    next();
                    token = RBRACKET;
                    return;
                case '{':
                    next();
                    token = LBRACE;
                    return;
                case '}':
                    next();
                    token = RBRACE;
                    return;
                case ':':
                    next();
                    token = COLON;
                    return;
                case ';':
                    next();
                    token = SEMI;
                    return;
                case '.':
                    next();
                    token = DOT;
                    return;
                case '+':
                    next();
                    scanNumber();
                    return;
                case 'x':
                    scanHex();
                    return;
                default:
                    if (isEOF()) { // JLS
                        if (token == EOF) {
                            throw new JSONException("EOF error");
                        }

                        token = EOF;
                        pos = bp = eofPos;
                    } else {
                        /** 忽略控制字符或者删除字符 */
                        if (ch <= 31 || ch == 127) {
                            next();
                            break;
                        }

                        lexError("illegal.char", String.valueOf((int) ch));
                        next();
                    }

                    return;
            }
        }

    }

跳过注释

    protected void skipComment() {
        /** 读下一个字符 */
        next();
        /** 连续遇到左反斜杠/ */
        if (ch == '/') {
            for (;;) {
                /** 读下一个字符 */
                next();
                if (ch == '\n') {
                    /** 如果遇到换行符，继续读取下一个字符并返回 */
                    next();
                    return;
                    /** 如果已经遇到流结束，返回 */
                } else if (ch == EOI) {
                    return;
                }
            }
            /** 遇到`/*` 注释的格式 */
        } else if (ch == '*') {
            /** 读下一个字符 */
            next();
            for (; ch != EOI;) {
                if (ch == '*') {
                    /** 如果遇到*,继续尝试读取下一个字符，看看是否是/字符 */
                    next();
                    if (ch == '/') {
                        /** 如果确实是/字符，提前预读下一个有效字符后终止 */
                        next();
                        return;
                    } else {
                        /** 遇到非/ 继续跳过度下一个字符 */
                        continue;
                    }
                }
                /** 如果没有遇到`*\` 注释格式, 继续读下一个字符 */
                next();
            }
        } else {
            /** 不符合// 或者 \/* *\/ 注释格式 */
            throw new JSONException("invalid comment");
        }
    }

解析注释主要分为2中，支持// 或者 /* */ 注释格式。

扫描字符串

当解析json字符串是"时，会调用扫描字符串方法。

    public final void scanString() {
        /** 记录当前流中token的开始位置, np指向引号的索引 */
        np = bp;
        hasSpecial = false;
        char ch;
        for (;;) {

            /** 读取当前字符串的字符 */
            ch = next();

            /** 如果遇到字符串结束符"， 则结束 */
            if (ch == '\"') {
                break;
            }

            if (ch == EOI) {
                /** 如果遇到了结束符EOI，但是没有遇到流的结尾，添加EOI结束符 */
                if (!isEOF()) {
                    putChar((char) EOI);
                    continue;
                }
                throw new JSONException("unclosed string : " + ch);
            }

            /** 处理转译字符逻辑 */
            if (ch == '\\') {
                if (!hasSpecial) {
                    /** 第一次遇到\认为是特殊符号 */
                    hasSpecial = true;

                    /** 如果buffer空间不够，执行2倍扩容 */
                    if (sp >= sbuf.length) {
                        int newCapcity = sbuf.length * 2;
                        if (sp > newCapcity) {
                            n
最低0.47元/天 解锁文章
haikuotiankongdong
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Java基础-浙大翁恺老师-第六章笔记
kode学习笔记
09-08 545
字符 5.1 字符类型 char是单个的字符，Java使用Unicode来表示字符 Unicode–>可以用来表示汉字内的多种文字 字符可以用来做什么？ 字符+数字：每个字符对应一个数字，字符的加减对应于数字的加减，然后输出计算后数字对应的字符 char c = 'A'; c++; System.out.println(c); 两个字符相减，得到在在表格中的距离（int） char e = 'A'; char f = 'D'; System.out.println(e-f); char可
JSON 之FastJson解析
banggelei9856的博客
03-19 123
一、阿里巴巴FastJson是一个Json处理工具包，包括“序列化”和“反序列化”两部分，它具备如下特征：速度最快，测试表明，fastjson具有极快的性能，超越任其他的Java Json parser。包括自称最快的JackJson；功能强大，完全支持Java Bean、集合、Map、日期、Enum，支持范型，支持自省；无依赖，能够直接运行在Java SE 5.0以上版本；支持Andr...
HTTP协议06-报文首部
梦忆安凉的博客
03-04 588
HTTP报文格式 HTTP协议的请求和响应报文中必定包含HTTP首部。首部内容为客户端和服务器分别处理请求和响应提供所需要的信息。 1）HTTP请求报文 在请求中，HTTP报文由方法、URI、HTTP版本、HTTP请首部字段等部分构成 下面的示例是把百度的请求头部报文拷贝了出来 GET / HTTP/1.1 Host: www.baidu.com Connection: ...
Python学习笔记 —— 字符串
kaijian1226的博客
09-08 146
字符串操作 大小写操作： 定义字符 str str.title()：首字母大写 str.upper()：全部字符大写 str.lower()：全部字符小写 注意：Matlab 也有upper和lower 这两个关键字，目标一致，不过用法不同 % Matlab >> a = "The dog is cute" ; >> b = upper(a) b = "THE DOG IS CUTE" >> c = lower(a) c = "the dog
ctype.h头文件详解
qq_45697900的博客
04-20 2377
<ctype.h> 是一个与字符处理有关的头文件，它包含了一系列用于检测和转换单个字符的函数。 <ctype.h> 中的函数都只有一个参数，就是要检测或者要转换的字符，并且这个参数的类型是 int，它可以表示一个有效字符，或者一个EOF（无效字符）。 <ctype.h> 中的函数的返回值也都是 int 类型，它可以表示一个有效字符，或者一个EOF（无效字符），或...
fastjson深度源码解析- 词法和语法解析(一) - token定义解析
商宗海的博客
02-04 1824
概要 词法分析是反序列化的重要基础，在其他框架druid、parsii等框架都用到了词法分析的技术，个人认为在讲反序列化之前讲词法分析更重要。 写出优秀框架之前，先理解大量优秀框架的实现对未来自己写框架非常有帮助！！！ 好了，废话不多说，来看看fastjson中定义的token吧。 JSONToken成员 com.alibaba.fastjson.parser.JSONToken定义
fastjson深度源码解析- 词法和语法解析(二) - 基础类型实现解析
商宗海的博客
02-04 1773
JSON Token解析 JSONLexerBase定义并实现了json串实现解析机制的基础，在理解后面反序列化之前，我们先来看看并理解重要的属性： /** 当前token含义 */ protected int token; /** 记录当前扫描字符位置 */ protected int
fastjson深度源码解析- 词法和语法解析(三) - 针对对象实现解析
商宗海的博客
02-04 1395
JSON Token解析 这个章节主要讨论关于对象字段相关词法解析的api。 JSONLexerBase成员函数 这里讲解主要挑选具有代表性的api进行讲解，同时对于极其相似的api不冗余分析，可以参考代码阅读。 Int类型字段解析 当反序列化java对象遇到整型int.class字段会调用该方法解析： public int scanInt(char expe
FastJson解析Json数据源码-旧版
07-23
总之，FastJson在解析Json数据时，通过词法分析和语法分析两步实现，结合高效的内存管理和类型转换机制，提供了高性能的JSON处理能力。理解和掌握FastJson的源码有助于我们在实际开发中更好地利用这个工具，提升代码...
oracle 多个字符替换实现
12-15
代码如下:create table A_TEST ( PAYOUT_ITEM_CODE VARCHAR2(30) not null, FORMULA_DET VARCHAR2(1000) ) create table B_TEST ( ELEMENT_ID VARCHAR2(5) not null, NAME VARCHAR2(41) )FORMULA_DET列里ELEMENT_ID替换成NAME 测试数据如下 代码如下: insert into a_test (PAYOUT_ITEM_CODE, FORMULA_DET) values (‘30228’, ‘({30015}+{30016}
sql拼接同一字段_SQL 拼接多个字段的值&一个字段多条记录的拼接
weixin_39948247的博客
12-23 435
如student表：studentIDstudentNamestudentScore01Alice9002Bill9503Cindy100一、拼接多个字段的值select studentID+‘-’+studentName+‘-‘+studentScore AS studentInfo from student结果：二、一个字段多条记录的拼接select stuff((select ‘|‘+stu...
HTTP HTTP报文首部
qq_38362049的博客
07-11 263
http 报文首部 http请求报文 报文首部 请求行、请求首部字段、通用报文字段、实体报文字段 空行 空行(CR+LF)报文主体 报文主体http响应报文状态行、请求首部字段、通用报文字段、实体报文字段空行(CR+LF)报文主体请求行:方法、URI、HTTP版本状态行:HTTP版本、状态码http首部字段:通用首部字段、请求首部字段、响应首部字段、实体首部字段一.通...
《图解HTTP》学习笔记（六）-HTTP首部
爱橙子的OK绷的专栏
05-25 3646
1、HTTP 报文首部HTTP 协议的请求和响应报文中必定包含 HTTP 首部。首部内容为客户端和服务器分别处理请求和响应提供所需要的信息。1）HTTP请求报文：在请求中，HTTP报文由方法、URI、HTTP版本、HTTP首部字段等部分组成。 2）HTTP响应报文：在响应中，HTTP报文由HTTP版本、状态码（数字和原因短语）、HTTP首部字段3部分组成。 在报文众多的字段当中，HTTP 首部
HTTP报文首部
浪人与酒
11-07 2379
HTTP协议的请求和响应报文中必定包含 HTTP 首部。 首部内容为客户端和服务器分别处理请求和响应锁需要的信息。有4中类型的首部字段： 通用首部字段、请求首部字段、响应首部字段和实体首部字段请求报文和响应报文两方都会使用的从客户端向服务器端发送请求报文时使用的首部。补充了请求的附加内容、客户端信息、响应内容相关优先级信息从服务器端向客户端返回响应报文时使用的首部。补充了响应的附加内容，也会要求客户端附加额外的内容信息针对请求报文和响应白问的实体部分使用的首部。补充了资源内容更新时间等于实体有关的信息645
HTTP之报文首部
yanammm
06-27 183
通用首部 客户端、服务端都可以使用的通用首部，如 Date Date: Fri, 26 Jun 2020 08:58:47 GMT Connection 允许客户端和服务器指定与请求/响应连接有关的选项 Date 提供日期和时间标志，说明报文是什么时间创建的 MIME-Version 给出发送端使用的MIME版本 Trailer 若报文使用分块传输编码（chunked transfer encodeing）方式，可用该首部列出位于报文拖挂（trailer）部分的首部集合 Transfer-Encodi
HTTP首部（一）
l_215851356的专栏
12-27 964
转载地址：http://www.jianshu.com/p/b6284d971ae8 目标 首部的结构 首部中各字段的用法 HTTP报文首部 HTTP报文的结构 HTTP协议的请求和响应报文中必定包含HTTP首部，对于客户的来说，这些信息的大部分内容都无须亲自查看。 HTTP请求报文 HTTP请求报文 下面是访问http://h
使用SQL语句将相同名的多行字段内容拼接起来
最新发布
qq_44390640的博客
03-15 6170
其中，columnName是相同名称的字段，anotherColumn是需要拼接的字段，tableName是需要拼接的表名，separator是拼接多个字段内容之间的分隔符。其中，column_name是相同名称的字段，another_column是需要拼接的字段，','是拼接多个字段内容之间的分隔符。其中，column_name是相同名称的字段，another_column是需要拼接的字段，SEPARATOR是拼接多个字段内容之间的分隔符。以下内容来自CHATGPT，其中PGADMIN经实验，有效。
FastJson入门教程：解析与使用
JSON格式易于人类阅读和编写，同时也能被机器快速解析和生成，因此在Web服务和跨平台数据交换中广泛应用。 二、JSon的基础结构和实例 1. JSON的两种基础结构： - 名称/值对集合：例如，`{"firstName": "Brett", ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

haikuotiankongdong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值