java lex,Java|Lexer分析报告

前言Lexer词法分析器，是将原始字符串转换为有意义的标记的过程。

一、词法标记类型定义

通过定义types变量，定义了普通字符串、运算符、关键字、逻辑运算符等类型。

二、词法分析规则

详情参考rules.js分析报告。

三、实现任务

1.将匹配的元素，结尾的空白字符替换为空。

2.将整段字符串拆分成不同的标记类型，并存在到新的数组中。

四、运行流程图

图1 流程图

五、关键代码展示与解释rules是一个数组，数组里面是单个对象，然后利用utils的some方法将rules数组里的每一项的regex放进去判断是否满足条件。macth是一个正则表达式匹配数组，规范化的数组元素的位置由一个条件判断语句决定，如果rule.idx有结果，则将下标值为idx的规范化，如果没有，则将第一个元素规范化。规范化是将字符串的结束位置的空白字符替换为空。下面的代码是对于repalce的判断，利用了三元运算(？：)，必须要前面两个条件都为ture的情况下，才会是选择？后面的语句，其他情况都选择：后面的语句。hasOwnProperty方法是用于判断对象是否包含括号中的属性，有则返回true，没有则返回false。简而言之，只要rule里面没有repalce属性，或者rule的replace属性中没有normallized属性，都执行A的代码。如果都满足条件，则执行新的规范化。return utils.some(rule.regex, function (regex) {

var match = str.match(regex)

var normalized

if (!match) {

return

}

normalized = match[rule.idx || 0].replace(/\s*$/, '')

normalized =

rule.hasOwnProperty('replace') &&

rule.replace.hasOwnProperty(normalized)

? rule.replace[normalized]

: normalized

matched = {

match: normalized,

type: rule.type,

length: match[0].length

}

return true

})原理是利用while循环，不断截取符合条件的代码，再将截取代码存放到新的数组中(tokens[])，再将已经存放的长度减去，直到offset

var offset = 0

var tokens = []

var substr

var match

while (offset 

substr = str.substring(offset)

match = reader(substr)

offset += match.length

tokens.push(match)

}

return tokens

}END

主  编   |   张祯悦

责  编   |   王   宇where2go 团队微信号：算法与编程之美