学习静态代码审计_第一站：编译原理和php

---

0x01 编译器的front end阶段和举例内容？

  （1）编译器的作用：把高级语言程序翻译成汇编/机器语言程序。

  （2）翻译过程：以英译汉举例，首先分析句子语义，然后转换成汉语。

要想获得语法树的表示形式，必须根据句子结构分析各短语在句子中充当什么成分，从而判断名词性成分与核心谓语动词之间的成分。

要想进行语义分析，必须划分句子成分，必须识别句子中的各类短语，这称为语法分析、句法分析。

要想识别句子中的各类短语，必须确定各个单词的词性/词类，这称为词法分析。

  （3）编译器的front end分析阶段：

  （4）PHP脚本的执行过程：举个例子，比如你写下了如下的PHP代码：

<?php
　　echo "Hello World";
　　$a = 1 + 1;
　　echo $a;
?>

  PHP执行这段代码会经过如下4个步骤(确切的来说，应该是PHP的语言引擎Zend)：

1. Scanning(Lexing) ,将PHP代码转换为语言片段(Tokens) (扫描–语言片段)
2. Parsing, 将Tokens转换成简单而有意义的表达式（解析–表达式）
3. Compilation, 将表达式编译成Opocdes（编码-opcodes）
4. Execution, 顺次执行Opcodes，每次一条，从而实现PHP脚本的功能。(执行opcodes)

  （5）PHP新的执行过程：
PHP7 的内核中有一个重要的变化是加入了 AST。在 PHP5中，从 php 脚本到 opcodes 的执行的过程是：

1. Lexing：词法扫描分析，将源文件转换成 token 流；

2. Parsing：语法分析，在此阶段生成 op arrays。

  PHP7 中在语法分析阶段不再直接生成 op arrays，而是先生成 AST，所以过程多了一步：

1. Lexing：词法扫描分析，将源文件转换成 token 流；
2. Parsing：语法分析，从 token 流生成抽象语法树；
3. Compilation：从抽象语法树生成 op arrays。

---

0x02 词法分析的任务和单词种类

  （1）词法分析的任务：从左到右逐行扫描源程序字符，识别出各个单词，确定单词的类型，并使用词法单元形式进行统一表示：<种别码，属性值>。

  （2）程序设计语言的单词大体分为5类：

单词类型	种别码
关键字	一词一码
标识符	多词一码
常量	一型一码
运算符	一型一码或一词一码
界限符	一词一码

  （3）词法分析的工作主要是对单词进行预定义、对源程序字符进行逐行扫描、比对预定义内容把单词转换成统一的token形式。

  （4）PHP的词法分析Lexing：
Zend/zend_language_scanner.c会根据Zend/zend_language_scanner.l文件对输入的 PHP代码进行词法分析，从而得到一个一个的“词”。

  PHP4.2开始提供了一个函数叫token_get_all,这个函数就可以将一段PHP代码 Scanning成Tokens。此处做一个PHP词法分析函数token_get_all实验，可以在博客文章中搜索函数关键字。

---

0x03 语法分析

  （1）语法分析的任务：从词法分析器输出的token序列中识别出各类短语，并构造语法分析树（parse tree）。其中语法分析树，用于描述句子的语法结构。

  语法规则：

	例1. 赋值语句组成：标识符、=、表达式、;
（其中表达式可以是表达式加表达式、标识符加表达式、数字加表达式）
	
	例2. 声明语句由type+标识符组成	：<D> -> <T><IDS>	

	抽象的文法定义：G = ( T, N, P, S)

  （2）难点：如何根据语法规则（文法规则）为输入句子构造分析树？

  （3）查找了一些资料，AST抽象语法树应该是语法分析阶段的任务，如果是中间代码生成阶段的产物就还要肝。根据资料，我们可以使用一些现成的解析器查看生成AST代码。

php解析器项目

  首当其冲的项目还是php-parse，做个实验，详情可在博客文章中通过关键字查找。

  值得一提的是，不一定非要自己再实现一个词法分析器和语法分析器，审计和使用已有项目也是一种不错的方式。本系列的第二站，就用来学习惦记已有的php-parse项目吧。

参考

  《AST系列(一): 抽象语法树为什么抽象》，https://zhuanlan.zhihu.com/p/102385477。