php 词法分析,【PHP7源码学习】2019-03-20 PHP词法分析

最新推荐文章于 2021-03-20 12:14:31 发布

Johann Faust

最新推荐文章于 2021-03-20 12:14:31 发布

阅读量210

点赞数

文章标签： php 词法分析

baiyan

基本概念

在PHP7中，当一个脚本运行请求或到来时，PHP代码首先会被加载到内存中，随后进行词法分析和语法分析并生成抽象语法树(AST)，然后进行深度优先遍历并生成opcodes，并在zend虚拟机中执行这些opcode，返回最终的执行结果。

词法分析：它是编译过程的第一个阶段。这个阶段会将代码从左到右按字符扫描并读入，然后将代码划分成一个又一个的词法单元(token)，方便后续的语法分析以及编译优化等操作。这就好比用菜刀去切一块肉，将这块大肉切分成一小块一小块肉，方便人们后续食用。可以使用Re2c、lex等自动化词法分析工具，来帮助我们完成。

语法分析：语法分析是编译过程的一个逻辑阶段。语法分析的任务是在词法分析的基础上将词法单元token，组合成各类语法短语，如“程序”，“语句”，“表达式”等等，它能够判断源程序在结构上是否正确。

在PHP中，使用的词法分析器是Re2c，语法分析器是Bison。

其实进行词法分析和语法分析并生成某种数据结构的过程，就是一个解码的过程。

之所以需要做这种从字符串到数据结构(AST)的转换，是因为编译器是无法直接操作“1+2”这样的字符串的。实际上，代码的本质根本就不是字符串，它本来就是一个具有复杂拓扑的数据结构，就像电路一样。“1+2”这个字符串只是对这种数据结构的一种“编码”，就像ZIP或者JPEG只是对它们压缩的数据的编码一样。

这种编码可以方便你把代码存到磁盘上，方便你用文本编辑器来修改它们(对人友好，方便人们编写代码，但是对编译器不友好)，然而你必须知道，文本并不是代码本身。所以从磁盘读取了文本之后，你必须先“解码”，才能方便地操作代码的数据结构。比如，如果上面的Java代码生成的AST节点叫node，你就可以用node.operator来访问加号ADD，用node.left来访问1，node.right来访问2。这是很方便的。对于程序语言，这种解码的动作就叫做parsing，用于解码的那段代码就叫做parser。

关于语法分析与词法分析的具体概念解释，这篇文章写得较好：对 Parser 的误解

我们先利用PHP内置函数token_get_all()来取出一段PHP代码的token：

$lan = '<?php $a = 1; echo $a';

$tokens = token_get_all($lan);

foreach ($tokens as $token) {

if (is_array($token)) {

echo "Line {$token[2]}: ", token_name($token[0]), " ('{$token[1]}')", PHP_EOL;

}

打印结果为：

Line 1: T_OPEN_TAG ('<?php ')

Line 1: T_VARIABLE ('$a')

Line 1: T_WHITESPACE (' ')