最近重新捡起了一年前学的编译原理(当时甚至没概念)
用DFA确定有穷自动机写了个很简陋的词法分析器
伪代码如下:
K -> number = 123;
K -> object = {" \\"a"}
K -> string = "abc"
Node.js执行后得到的结果如下
[ { type: 'Identifier', line: 2, position: 3, value: 'K' },
{ type: 'Dtype', line: 2, position: 3, value: '->' },
{ type: 'Variable', line: 2, position: 10, value: 'number' },
{ type: 'Assignment', line: 2, position: 10, value: '=' },
{ type: 'Number', line: 2, position: 15, value: '123' },
{ type: 'Identifier', line: 3, position: 3, value: 'K' },
{ type: 'Dtype', line: 3, position: 3, value: '->' },
{ type: 'Variable', line: 3, position: 10, value: 'object' },
{ type: 'Assignment', line: 3, position: 10, value: '=' },
{ type: 'Block', line: 3, position: 18, value: '{" \\"a"}' },
{ type: 'Identifier', line: 4, position: 3, value: 'K' },
{ type: 'Dtype', line: 4, position: 3, value: '->' },
{ type: 'Variable', line: 4, position: 10, value: 'string' },
{ type: 'Assignment', line: 4, position: 11, value: '=' },
{ type: 'String', line: 4, position: 17, value: '"abc"' } ]
这是一个根据伪代码写出词法分析器,话不多说,直接报代码:
var code = `
K->number= 12.3;
K->object={" \\"a"}
K->string = "abc"
`;
// 解析函数,懒得重写结构了
// 这个东西也只是为了测试而写的
function Lexed(code){
// 类型数组,储存类型
var varKeyWords = ["number","string","object"];
// 临时字符组
var temp = []
// 返回解析得到的字典组
var result = [];
// 代表当前状态,0为type.none
var state = 0;
// 当前行数
var line = 1;
// inde解析到的当前位置
var i = 0;
// 记录当前行的字符位置
var linePos = 0;
// 当前位置的字符,方便引用
var ch;
// 字符串长度
var codeLen = code.length;
// 判断是否为某个type,返回字典组会记录type以保证后面的AST抽象语