写一个词法生成器

参考《compiler design in c》写了个小小小的词法生成器:tinylex

正则表达式-->NFAS (递归下降的语法解析 + Thompson's Construction)

NFAS-->DFAS & DFA 状态转移表 ( subset construction )

DFAS -->最小化DFAS & 状态转移表

压缩状态转移表 (冗余行列压缩)

 

能解析简单词法脚本，支持非递归宏定义正则表达式, 支持单行C代码accept action string,

两个非常丑的底层文本流处理(1个是tinylex内置的，一个是生成c代码需要的)

可用输出函数yylex()，不太兼容flex/lex,不支持yywrap/yymore/yyrestart等绝大多数函数

 

大约3700行,同步在github上:这里 

后续计划:基本无扩展计划：<, 有兴趣的话，把算法优化成正则表达式到DFA直接转换，跳过中间结构NFA

   肯定还有BUG， 已经DEBUG了1天，内带C代码加亮测试脚本能通过了

   我若有兴趣的话，会把算法优化成正则表达式到DFA直接转换，跳过中间结构NFA