Fastjson源码分析—反序列化—Token的定义和解析（2）

2021SC@SDUSC
上篇分析了Token的定义和解析Token的大致过程，着重讲解了分析过程的顶层实现。这篇重点讲解底层代码，看看对json字符串进行分割时底层具体发生了什么。

skipComment()跳过注释

接上篇分析，扫描json字符串时，如果遇到’/’，将判定该段Token类型为注释，跳过这一段。

    protected void skipComment() {
        next();
        if (ch == '/') {
            for (;;) {
                next();
                if (ch == '\n') {
                    next();
                    return;
                } else if (ch == EOI) {
                    return;
                }
            }
        } else if (ch == '*') {
            next();
            for (; ch != EOI;) {
                if (ch == '*') {
                    next();
                    if (ch == '/') {
                        next();
                        return;
                    } else {
                        continue;
                    }
                }
                next();
            }
        } else {
            throw new JSONException("invalid comment");
        }
    }

简单分析一下该方法的执行流程：
首先明确，Fastjson只支持//和/*...*/ 形式的注释，在确定该Token为注释的前提下，若接下来的字符不符合上述两种形式，则判定为格式错误，抛出异常。
首先是读取下一个字符。
1.如果仍然遇到/，则继续读取下一个字符。如果遇到换行符，则先将指针继续往后推移一位并返回，遇到结束流则直接返回。
2.如果遇到的是*，继续读取下一个字符，看看是否是/字符。如果确实是/字符，则提前读取下一个有效字符然后终止读取。遇到非/字符，说明以下内容是注释体，继续读取直到结束。
3.若不满足上面两种情况，说明原字符串不满足json格式，抛出异常。

scanString()扫描字符串

当一个Token由"开始，说明这是一个字符串，调用底层的scanString()方法对其进行扫描。

public final void scanString() {
        np = bp;
        hasSpecial = false;
        char ch;
        for (;;) {
            ch = next();

            if (ch == '\"') {
                break;
            }

            if (ch == EOI) {
                if (!isEOF()) {
                    putChar((char) EOI);
                    continue;
                }
                throw new JSONException("unclosed string : " + ch);
            }

            if (ch == '\\') {
                if (!hasSpecial) {
                    hasSpecial = true;

                    if (sp >= sbuf.length) {
                        int newCapcity = sbuf.length * 2;
                        if (sp > newCapcity) {
                            newCapcity = sp;
                        }
                        char[] newsbuf = new char[newCapcity];
                        System.arraycopy(sbuf, 0, newsbuf, 0, sbuf.length);
                        sbuf = newsbuf;
                    }

                    copyTo(np + 1, sp, sbuf);
                    // text.getChars(np + 1, np + 1 + sp, sbuf, 0);
                    // System.arraycopy(buf, np + 1, sbuf, 0, sp);
                }

                ch = next();

                switch (ch) {//省略内部冗余代码
                }

        token = JSONToken.LITERAL_STRING;
        this.ch = next();
    }

该方法首先用np指向引号的索引，接着在for循环中读取当前字符串的字符。如果读到/，则结束读取。如果读到了结束字符EOI，但是没有遇到流的结尾，将EOI添加到结束位置。注意到方法中声明了一个bool类型变量hasSpecial，初始化为false，表明未遇到特殊符号。此时，如果扫描到\\，则将hasSpecial改为true。
sbuf为Token的缓存区，如果sp>=sbuf.length，说明缓存区空间不够，自动执行2倍扩容。接着将有效字符串复制到缓存区（省略引号）。如果没有转义字符，递增缓存区字符位置。最后自动预读下一个字符。
这个方法在处理Token中使用频率很高，理论上一个json字符串的所有Token中至少有一半为字符串，故每次反序列化都会多次调用这段代码。

其他类似方法

除了以上方法外，JSONLexerBase类还定义了上百种方法用于分析、处理Token。例如scanLong()用于分析long型数据，stringVal()用于获取Token包含的字符串。

总结

JSONLexerBase类位于com.alibaba.fastjson.parser，作用就是分析和处理Token。这篇博客连同上一篇已经给出了几个关键数据类型的实现，其他类型如Decimal、Float等的实现都比较简单，参考以上方法的讲解即可。这些方法的共同点都是通过获取Token的内容，然后使用分析得出的相应的类的构造方法来生成对应的对象。
分析完Token，下一步就可以开始反序列化生成Java对象了。