lua语法分析原理介绍

lua语法分原理介绍

******目录

一、内部实现

(a)语法分析介绍

(b)简单产生式举例

(c)lua中实现

(d)statement举例

(e)编译成字节码

二、可优化方向

(a)continue实现

(b)预编译宏实现

(c)加密方法



一、内部实现

(a)语法分析介绍

**注---关于语法分析我们仅针对关键词进行概述,这里不做深度解释,如果有兴趣的话可以去研究编译原理

产生式 ---可以解释为语法分析对应表,扫描过得语句如果与产生式相同,就做分析

lookahead ---向前看字符,表示分析器当前被扫描的终结符号,用来与产生式中的符号做匹配

基本规则 -----lookahead和产生式依次做对比,然后按照对比成功的产生式进行编码操作(这里编码成lua的编码指令)

FIRST(a) -----表示可以产生a的所有字符串的第一个字符的集合


(b)简单产生式距离

stmt -> expr;

if (expr) stmt

| for (optexpr;optexpr;optexpr) stmt

| other


optexpr -> nil

| expr


其中stmt表示语句,expr表示表达式

从上述描述来看stmt语句可以有

四种表现形式,直接表达式,if语句,for语句,other语句(这里是因为不想做过多列举将other设置为终结符)

FIRST(stmt)即为{expr,if,for,other} --这里讲解我们把expr和other当做是终结符,否则集合应该为{if,for} and {FIRST(other)} and {FIRST(expr)}(预测分析法需要保证FIRST集合不相交)

lookahead存储着读入的字符,先与FIRST(stmt)中字符做匹配

以for (;expr;expr) other 为例

1)lookahead初始化为“for”,在FIRST(stmt)中匹配到for

2)则lookahead变为“(”,匹配stmt产生式中“(”

3)lookahead变为“;”,stmt检测到optexpr,optexpr检测到没有匹配,默认为nil

4)lookahead不变仍为“;”,stmt检测到“;”

5)继续匹配推进

…………

(c)lua中实现

所有实现在lparser.h和lparser.c中完成

luaY_parser  --------------->函数是所有语法分析的始端其中包含了词法分析状态机LexState

产生式 --------------->分为多个分析函数,在其中处理相应的产生式与lookahead字符对比

对比函数 --------------->基本通过check_match,同时check_condition,checknext,check这些用来处理特殊予以情况使用

lookahead --------------->LexState中存储了Token lookahead,这是一个token类型,具体可以通过LexState去看 

基本规则 --------------->运用switch实现,划分成case分别解析处理

FIRST() --------------->这里基本是switch实现的,通过case来保证每个case执行相对应的产生式,进行更进一步的处理

例如根据chunk分解为block再分解为statement……


(d)statement举例

static void statement (LexState *ls) {
  int line = ls->linenumber;  /* may be needed for error messages */
  enterlevel(ls);
  switch (ls->t.token) {
    case ';': {  /* stat -> ';' (empty statement) */
      luaX_next(ls);  /* skip ';' */
      break;
    }
    case TK_IF: {  /* stat -> ifstat */
      ifstat(ls, line);
      break;
    }
    case TK_WHILE: {  /* stat -> whilestat */
      whilestat(ls, line);
      break;
    }
    case TK_DO: {  /* stat -> DO block END */
      luaX_next(ls);  /* skip DO */
      block(ls);
      check_match(ls, TK_END, TK_DO, line);
      break;
    }
    case TK_FOR: {  /* stat -> forstat */
      forstat(ls, line);
      break;
    }
    case TK_REPEAT: {  /* stat -> repeatstat */
      repeatstat(ls, line);
      break;
    }
    case TK_FUNCTION: {  /* stat -> funcstat */
      funcstat(ls, line);
      break;
    }
    case TK_LOCAL: {  /* stat -> localstat */
      luaX_next(ls);  /* skip LOCAL */
      if (testnext(ls, TK_FUNCTION))  /* local function? */
        localfunc(ls);
      else
        localstat(ls);
      break;
    }
    case TK_DBCOLON: {  /* stat -> label */
      luaX_next(ls);  /* skip double colon */
      labelstat(ls, str_checkname(ls), line);
      break;
    }
    case TK_RETURN: {  /* stat -> retstat */
      luaX_next(ls);  /* skip RETURN */
      retstat(ls);
      break;
    }
    case TK_BREAK:   /* stat -> breakstat */
    case TK_GOTO: {  /* stat -> 'goto' NAME */
      gotostat(ls, luaK_jump(ls->fs));
      break;
    }
    default: {  /* stat -> func | assignment */
      exprstat(ls);
      break;
    }
  }

这里就是statement的相关解析方法,根据FIRST字符来处理

(e)编译成字节码

根据语法分析结束后通过lcode.h定义的方法编译成字节码

API统一命名为luaK_

lcode.c中实现了这些方法,可以去参考学习,基本就是将语义翻译成指令集序列

二、可优化方向

(a)continue实现

1)可以通过token增加continue token进行词法分析,这里可以参考lua词法分析部分,此时保留字里面就会出现TK_CONTINUE字样

2)接下来在statement里可以新增case TK_CONTINUE进行针对这一token的分析

3)当前lua没有continue的实现,这一空缺根据我的观察,应当是在funcState里面没有关于循环开始位置的记录,这就导致没办法实现continue,这应该是最主要原因

4)所以我们可以选择在funcState中加入一个参数用来记录起始位置,例如添加一个int spc,专门用来记录开始位置即可

5)这样就可以通过类似于5.2中gotostat()方法,**(实现break指令通过跳转到funcState的jpc(PC待跳转列表),此时只需跳转到spc即可


(b)预编译宏的实现

之前一直认为,lua没有预编译会导致我们编码中会有很多冗余的全局变量,例如全局变量表中的全部信息,其实都可以在便一部分完成预编译,这样就奸商了很多内存开销

因此,tianjiadefine保留字和define的相关产生式,就可以完成相应的实现(但是涉及到exp枚举新增,会比较麻烦)

当然这样实现也只会在一个当前文件里生效,如果需要全局操作,有两个方案

A方案:

将define定义成一个constant类型,即expkind中VK 那么就需要对VK进行扩展,此时链接那边也需要修改,这样的实现就会相对比较麻烦

B方案:

我们直接写脚本,去处理所有define A= 1 部分,这里在makeFile里就可以完成,可以先预处理一遍全部文件,将define处理并记录,然后在后续编译过程总进行替换即可


(c)加密方法

关于加密,语法和此法分析,可以做深层加密解析

例如我们把lua脚本先做预处理加密,那么在加密过后,我们获取到的加密文本在编译过程中,也会解密,所以并不能起到很大的加密作用

如果我们将解密方法处理在lua语法词法编辑器里,那么解密部分就会变成黑盒,不会被破解出来

但是在编译成字节码时,代码还是会暴露出来,所以字节码部分也应当同时加密这样才能有很好的加密效果,但是相对成本也就会更高


展开阅读全文

没有更多推荐了,返回首页