关闭

Lua5.1代码阅读(二):llex.h/llex.c

813人阅读 评论(0) 收藏 举报
分类:

一、作用和参考资料

llex.c是Lua的词法分析器(把单个输入字符串切割为多个输出符号)

参考:

1. Lua 5.1.3源代码分析之词法分析 By 天地沙鸥

http://xenyinzen.wordpress.com/2009/12/09/lua-5-1-3%E6%BA%90%E4%BB%A3%E7%A0%81%E5%88%86%E6%9E%90%E4%B9%8B%E8%AF%8D%E6%B3%95%E5%88%86%E6%9E%90/

二、包含头文件

1. llex.h

#include "lobject.h"

#include "lzio.h"

2. llex.c

#include <ctype.h>

#include <locale.h>

#include <string.h>

#include "lua.h"

#include "ldo.h"

#include "llex.h"

#include "lobject.h"

#include "lparser.h"

#include "lstate.h"

#include "lstring.h"

#include "ltable.h"

#include "lzio.h"

 

三、宏

1. #define FIRST_RESERVED 257

RESERVED枚举值第一个枚举的整数值。

大于256的目的可能是想避开ASCII值的范围(见luaX_token2str)。

2. #define TOKEN_LEN (sizeof("function")/sizeof(char))

保留字的最大内存长度(包括结尾的'\0')。

3. #define NUM_RESERVED (cast(int, TK_WHILE-FIRST_RESERVED+1))

保留字的个数(cast是定义在llimit.h的宏,用于C强制转换)。

4. #define llex_c

llex.c的宏缩写(象征形式)

5. #define LUA_CORE

表示llex.c位于底层实现中(象征形式)

6. #define next(ls) (ls->current = zgetc(ls->z))

从输入流中读取一个字符值,保存为ls(词法分析器)的当前字符值

7. #define currIsNewline(ls) (ls->current == '\n' || ls->current == '\r')

判断当前是否回车。

8. #define save_and_next(ls) (save(ls, ls->current), next(ls))

把当前字符保存到变长缓冲区,然后读下一个符号。

9. #define MAXSRC          80

用于处理源文件名ls->source的临时缓冲区的最大长度(?)

四、枚举

1. 

enum RESERVED {

 TK_AND = FIRST_RESERVED, TK_BREAK,

 TK_DO, TK_ELSE, TK_ELSEIF, TK_END, TK_FALSE, TK_FOR, TK_FUNCTION,

 TK_IF, TK_IN, TK_LOCAL, TK_NIL, TK_NOT, TK_OR, TK_REPEAT,

 TK_RETURN, TK_THEN, TK_TRUE, TK_UNTIL, TK_WHILE,

 TK_CONCAT, TK_DOTS, TK_EQ, TK_GE, TK_LE, TK_NE, TK_NUMBER,

 TK_NAME, TK_STRING, TK_EOS

};

保留字枚举量(和luaX_tokens对应),表示特殊的token范围。

如果要修改它的顺序,需要修改注释有ORDER RESERVED的代码。

* TK_AND到TK_WHILE是表示保留字的终结符(终结符是指语法中不需要继续推导的符号)

* TK_CONCAT到TK_EOS是非保留字的其它终结符(运算符、字面值和文件结束)。

五、公开的全局变量

1. LUAI_DATA const char *const luaX_tokens [];

const char *const luaX_tokens [] = {

"and", "break", "do", "else", "elseif",

"end", "false", "for", "function", "if",

"in", "local", "nil", "not", "or", "repeat",

"return", "then", "true", "until", "while",

"..", "...", "==", ">=", "<=", "~=",

"<number>", "<name>", "<string>", "<eof>",

NULL

};

names符号(终结符)的常量字符串数组(对应RESERVED枚举的顺序)。

用于把特殊符号转换为字符串。

六、结构体、联合体

1. 

typedef union {

 lua_Number r;

 TString *ts;

} SemInfo;

单个语义信息(联合体)

2. 

typedef struct Token {

 int token;

 SemInfo seminfo;

} Token;

单个符号信息(结构体)

3. 

typedef struct LexState {

 int current;  

 int linenumber;  

 int lastline;  

 Token t;  

 Token lookahead;  

 struct FuncState *fs;  

 struct lua_State *L;

 ZIO *z;  

 Mbuffer *buff;  

 TString *source;  

 char decpoint;  

} LexState;

词法状态:

* current:当前int型字符值

* linenumber:输入行号

* lastline:最后一个被消费的符号的行号。

* Token:当前符号信息

* lookahead:向前看的符号信息

* fs:函数状态,对于parser是私有的

* L:Lua状态机

* z:输入流

* buff:符号缓冲

* source:当前源码文件名

* decpoint:本地区域的十进制浮点

七、全局私有的静态方法

1. static void save (LexState *ls, int c) {

把c接到ls->buff变长缓冲区的结尾(确保不会超出缓冲区范围)

2. static const char *txtToken (LexState *ls, int token) {

根据token取出字面值。

如果token是名称、数、字符串字面值,把ls->buff转成'\0'结束的C字符串。

如果token是特殊token(保留字、运算符),直接返回其字符串形式。

3. static void inclinenumber (LexState *ls) {

增加行号(检查溢出)。

然后跳过附近的'\n'和'\r'。

4. static int check_next (LexState *ls, const char *set) {

检查词法状态机的当前字符值是否在字符集set内。

如果是,则执行save_and_next

5. static void buffreplace (LexState *ls, char from, char to) {

把词法状态机的缓冲区中的字符值from全部替换为字符值to。

6. static void trydecpoint (LexState *ls, SemInfo *seminfo) {

把'.'改为本地(locale)的十进制小数点分割符

(使用<locale.h>的函数localeconv获取本地数字及货币信息格式),

然后继续尝试字符串到数字的转换。

7. static void read_numeral (LexState *ls, SemInfo *seminfo) {

循环(逐字符)读取LUA_NUMBER(内部实现是double型)字面值字符串

8. static int skip_sep (LexState *ls) {

循环读取[=或]=分割符,

然后返回其层数('='的个数,如果是右面则为负数)

9. static void read_long_string (LexState *ls, SemInfo *seminfo, int sep) {

读带分隔符的字符串字面值(如[[abc]])

10. static void read_string (LexState *ls, int del, SemInfo *seminfo) {

读一般的字符串字面值(如"abc",'abc')

11. static int llex (LexState *ls, SemInfo *seminfo) {

词法分析器循环,使用switch进行跳转。

八、全局公开的方法

1. void luaX_init (lua_State *L) {

LUAI_FUNC void luaX_init (lua_State *L);

初始化词法分析器:

* 把所有保留字加入符号表。确保所有保留字的符号表字符串不被回收。

* 诊断TOKEN_LEN是最大的保留字长度。

2. const char *luaX_token2str (LexState *ls, int token) {

LUAI_FUNC const char *luaX_token2str (LexState *ls, int token);

把int型的token(可印刷字符、控制字符、保留字符号)转为可读的字符串。

3. void luaX_lexerror (LexState *ls, const char *msg, int token) {

LUAI_FUNC void luaX_lexerror (LexState *ls, const char *msg, int token);

报告词法错误,然后抛出LUA_ERRSYNTAX异常。

4. void luaX_syntaxerror (LexState *ls, const char *msg) {

LUAI_FUNC void luaX_syntaxerror (LexState *ls, const char *s);

报告语法错误,然后抛出LUA_ERRSYNTAX异常。

和luaX_lexerror相同,只是报告的token是当前词法状态机的符号。

5. TString *luaX_newstring (LexState *ls, const char *str, size_t l) {

LUAI_FUNC TString *luaX_newstring (LexState *ls, const char *str, size_t l);

在符号表中创建字符串(确保不会重复收集),返回TString指针(符号表字符串)。

6. void luaX_setinput (lua_State *L, LexState *ls, ZIO *z, TString *source) {

LUAI_FUNC void luaX_setinput (lua_State *L, LexState *ls, ZIO *z, TString *source);

初始化词法状态机的输入流ls,然后读取第一个字符值

7. void luaX_next (LexState *ls) {

LUAI_FUNC void luaX_next (LexState *ls);

读下一个词法符号。

如果已经有被lookahead的词法符号,就直接取它的值避免遗漏。

8. void luaX_lookahead (LexState *ls) {

LUAI_FUNC void luaX_lookahead (LexState *ls);

向前看(lookahead,即提前读)后一个词法符号。用于语法预测。

九、值得观察的关键代码

1. llex

它是luaX_next和luaX_lookahead的底层实现

 

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:544746次
    • 积分:7100
    • 等级:
    • 排名:第3278名
    • 原创:7篇
    • 转载:315篇
    • 译文:0篇
    • 评论:60条
    最新评论