next_token函数
init/tokenizer.cpp中next_token函数
6 int next_token(struct parse_state *state)
7 {
8 char *x = state->ptr;
9 char *s;
10
11 if (state->nexttoken) {
12 int t = state->nexttoken;
13 state->nexttoken = 0;
14 return t;
15 }
16
17 for (;;) {
18 switch (*x) {
19 case 0:
20 state->ptr = x;
21 return T_EOF;
22 case '\n':
23 x++;
24 state->ptr = x;
25 return T_NEWLINE;
26 case ' ':
27 case '\t':
28 case '\r':
29 x++;
30 continue;
31 case '#':
32 while (*x && (*x != '\n')) x++;
33 if (*x == '\n') {
34 state->ptr = x+1;
35 return T_NEWLINE;
36 } else {
37 state->ptr = x;
38 return T_EOF;
39 }
40 default:
41 goto text;
42 }
43 }
44
45 textdone:
46 state->ptr = x;
47 *s = 0;
48 return T_TEXT;
49 text:
50 state->text = s = x;
51 textresume:
52 for (;;) {
53 switch (*x) {
54 case 0:
55 goto textdone;
56 case ' ':
57 case '\t':
58 case '\r':
59 x++;
60 goto textdone;
61 case '\n':
62 state->nexttoken = T_NEWLINE;
63 x++;
64 goto textdone;
65 case '"':
66 x++;
67 for (;;) {
68 switch (*x) {
69 case 0:
70 /* unterminated quoted thing */
71 state->ptr = x;
72 return T_EOF;
73 case '"':
74 x++;
75 goto textresume;
76 default:
77 *s++ = *x++;
78 }
79 }
80 break;
81 case '\\':
82 x++;
83 switch (*x) {
84 case 0:
85 goto textdone;
86 case 'n':
87 *s++ = '\n';
88 break;
89 case 'r':
90 *s++ = '\r';
91 break;
92 case 't':
93 *s++ = '\t';
94 break;
95 case '\\':
96 *s++ = '\\';
97 break;
98 case '\r':
99 /* \ <cr> <lf> -> line continuation */
100 if (x[1] != '\n') {
101 x++;
102 continue;
103 }
104 case '\n':
105 /* \ <lf> -> line continuation */
106 state->line++;
107 x++;
108 /* eat any extra whitespace */
109 while((*x == ' ') || (*x == '\t')) x++;
110 continue;
111 default:
112 /* unknown escape -- just copy */
113 *s++ = *x++;
114 }
115 continue;
116 default:
117 *s++ = *x++;
118 }
119 }
120 return T_EOF;
121 }
next_token函数整体逻辑：把文件中所有内容保存到字符串str。
在17行到43行的第一个for循环处理逻辑: 从文本找到待处理字符串的第一个字符。
具体操作： 在字符串找到有用字符，则会进入text中，分割字符串，保存内容；如果遇到字符串中非有用字符是"#"，继续在字符串str中轮询，直接遇到换行符(’\n’)，或者轮询到结束符(EOF)，分别在35行返回T_NEWLINE，或者在38行中返回return T_EOF;如果遇到空行"\n"，则返回T_NEWLINE;如到’ ‘,’\t’，'r’等特殊字符继续向前轮询字符。
在52行开始的第二个for循环：找到需要待处理字符串后一个字符（例如：空格、结束符号、换行）。
有个数据结构struct parse_state。
struct parse_state
{
char *ptr; ------>指向剩余字符串
char *text; ------>保存
int line; --->处理的行数
int nexttoken; ---->处理过的分割符
};
举个例子：处理如下配置文件。
配置文件内容如下,使用vim set list查看,$是转行符,^I是table,其他就是看见的空格。
1 import /init.environ.rc$
2 import /init.usb.rc$
3 $
4 on fs$
5 ^Imount_all ./fstab.uml $
6 $
7 on early-init$
8 # Set init and its forked children's oom_adj.$
9 write /proc/1/oom_score_adj -1000$
10 tom-init-rc$
11 $
~
处理流程：
1）调用next_token()，如果遇到注释语句，从31行处理，直接轮询到行末换行符(’\n’)，并且从35行出。
2）调用next_token（），处理到第4行，第一个字符是’o’，运行到40行，goto text，state->text = s=x。因为x=‘o’，匹配116行的default的case，执行到 s++ = x++；则x=‘n’，然后再匹配116行的default的case，执行完s++ = x++；则x是空格，则匹配56行的case，运行textdone，然后在s后面加结束符，则state->text=“on”，返回T_TEXT。
3) 调用next_token()，处理字符串“fs”，因为s=’\n’（换行符），匹配到61行，执行state->nexttoken = T_NEWLINE;运行到textdone，运行后，则state->text=“on”，返回T_TEXT。
4）调用next_token()，运行到11行，返回T_NEWLINE，并且把state->nexttoken=0。
这样完成1行数据的处理。
附表
|转义字符| 意义 |ASCII码值(十进制)|
|–|--|
| \n |换行(LF)，将当前位置移到下一行开头 |010|
| \r |回车(CR) ，将当前位置移到本行开头 |013|
| \t |水平制表(HT) ( 跳到下一个TAB位置）|009|
\r是回车(CR)，将光标移动到行前.
#include<stdio.h>
#include<stdlib.h>
int main(int argc, char* argv[])
{
printf("ab c\n"); // 输出：ab c
printf("\td\n"); // 输出: d
printf("abc\rf\n"); // 输出：fbc
char str1[20]="abc\rf";
printf("%x %x %x %x %x",str1[0],str1[1],str1[2],str1[3],str1[4]);//0x61 0x62 0x63 0xd 0x66
return 0;
}
322
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
