[oeasy]python0010 - python虚拟机解释执行py文件的原理

最新推荐文章于 2023-10-14 10:06:23 发布

overmind

最新推荐文章于 2023-10-14 10:06:23 发布

阅读量670

点赞数 1

文章标签： python 开发语言

本文链接：https://blog.csdn.net/overmind/article/details/127446521

版权

解释运行程序 🥊

回忆上次内容

我们这次设置了断点

设置断点的目的是更快地调试
调试的目的是去除bug
别害怕bug
一步步地总能找到bug
这就是程序员基本功

调试debug

我心中还是有疑问

python3 是怎么解释hello.py 的？🤔

纯文本

我们的py文件是一个纯文本文件

打开我们的guido.py

如果没有就新做一个

这里面是一个个的字符

print("1982------Guido in cwi")
print("1995------Guido in cnri")
print("2000------Guido in beopen")
print("2005------Guido in google")
print("2012------Guido in dropbox")
print("2020------Guido in microsoft")

python怎知道如何执行呢？

传统文本

传统文本的基础也是字符

在字符的基础上组织起篇章结构

字组成词
词组成句
句组成段
段组成章节
最后成书

tokenize

首先把一个个字符组成词
分析一下哪些字可以组成词

术语叫词法分析(lexical analysis)

把原来的字符流

变成了词的流
token(令牌)流

词法分析之后输出的是一个词(token)的流

啥是token呢？

token

token

令牌

古人说听我号令

号指的是

号角
摔杯为号
是一个信号

令指的是令牌

急急如律令
打五十大板
令行禁止

怎么把源文件变成一个词(token)流呢？

python3模块

帮助手册里面有这个内容
这个tokenize是python3的一个模块(module)

具体怎么运行呢？

token流

我们尝试运行

python3 -m tokenizeguido.py

-m 代表的是 module模块

对guido.py进行词法分析

分析出来的词(token)流什么样子呢？
这个词的流怎么理解呢？

token流

第0行设置了编码格式
第1行[0,5)字符是第1行第1个token

print
print是一个Name(名字)

第1行[5,6)字符是第1行第2个token

(
(是一个Operator(操作符)

第1行[6,30)字符是第1行第3个token

"1982------Guido in cwi"
这是一个String(字符串)

第1行[30,31)字符是第1行第4个token

)
)是一个Operator(操作符)

第1行[31,32)字符是第1行第5个token

\n
\n是一个NewLine(换行符)
换行符意味着第一行结束

第2行...
词分析出来之后呢？

组词

词分析出来就是怎么组词的问题

哪些词和哪些词先组合
哪些词和哪些词后组合

生成一棵抽象语法树

AST(Abstract Syntax Tree)

我能看看这棵ast树么？

引入ast模块

具体怎么做呢？

流程

先把这个ast模块导入(import)进来

第一句就是import ast
回车之后没有任何报错
那就是执行成功了
后面也一样
没有报错就是执行成功了

然后读取guido.py并送到s
然后对于s进行语法分析(parse)

再把分析(parse)的结果进行转储(dump)
看起来有点乱

可以清晰一些么？

升级Python

目前lanqiao.cn上面的python是3.8
这个清晰缩进的格式需要在3.9以上完成
需要升级

sudo apt update
sudo apt install python3.9

升级之后就可以使用Python3.9了

缩进换行

只能在本地演示一下

这个就是把词组成语法树的样子
如何理解这棵树呢？
我们看一个例子

表达式运算

如果给的表达式为 1 * 2 * 3

结合序为下图

前两个先结合
得到的结果作为下一个运算的左操作数
然后和第3个结合

结合序

如果把第一个* 改成 + 号
其他什么也没加

表达式是1 + 2 * 3

后两个会先结合
得到的结果作为下一个运算的右操作数
然后再和1进行加法运算
有了语法树

下一步要做什么呢？

这棵语法树我们能看懂
但是cpu需要的是能执行的一条条字节码指令

翻译成字节码

要把源程序翻译成字节码才能执行

字节码对应着cpu的指令

怎么把ast转化为字节码(指令)呢？

需要编译(compile)

从一种语言到另一种语言

从py文件
到字节码(指令)
就是编译

我可以看看这个编译过程么？

compile

编译结果

编译(compile)之后得到是字节码指令文件

所以扩展名是pyc
其中c代表compiled
pyc是字节码(bytecode)文件
python虚拟机的虚拟cpu就可以直接执行了

先看看这个pyc文件

注意他在__pycache__文件夹下
cache的意思是缓存
pycache两端各有2条下划线(_)

进这个文件夹看看

进入__pycache__文件夹

打开pyc文件

得到的字节码看起来完全是乱码

可以想办法看懂这些字节码么？

vi打开这个这个pyc文件

二进制形态

:set wrap设置换行

这样看到了他的字符串形态
可以看到他的二进制字节形态么？

机器语言

:%!xxd

把文件转化为字节形态

这纯纯的机器语言字节形态

实在是看不懂啊😭
这真的是指令么？

究竟什么是指令呢？

指令

instruction

最早指的是教的行为或者过程
计算机领域里面特指指令

比如加法指令
减法指令
可以让cpu做特定运算的指令

由于计算机只认识0和1
所以要把这些加加减减的指令
对应到0和1的二进制形态上去
0和1的二进制形态我们记不住
于是有了汇编助记符
助记符告诉我们这条0和1的二进制形态
到底对应什么指令
助记符的语言就是汇编语言

汇编assemble

assemble指的是收集、集结

assembler指的是装卸工

在计算机中特指汇编语言

可以让我们把0和1的机器指令
收集起来形成的助记符集合
就是汇编语言指令集

这就是汇编语言和0101的对应关系

反编译

disassemble
这个词由两部分组成

dis (反着来的)

dislike
disgrace
disagree

assembler (汇编语言)

disassemble 反编译

把py源文件编译成的字节码(指令)我们人类看不明白

把这些字节码(指令)反编译(disassemble)成汇编语言助记符
有了助记符我们就知道指令的含义了

这可以用么？

去试试！

反编译(dis)

python3 -m disguido.py

-m 代表使用模块
dis 代表反编译(disassemble)

我们可以看见

前面是行号
每行对应4条指令

LOAD_NAME 装载(函数)名字
LOAD_CONST 装载常量
CALL_FUNCTION 调用函数
POP_TOP 弹栈

总共6句

对应6组字节码
每组两个字节

那具体这个 LOAD_NAME 是要做些什么呢？

指令

LOAD_NAME

把一个值压入堆栈co_names
把print这个函数名压入了堆栈
一会儿就要调用这个被压入堆栈的print函数

但是LOAD_NAME这条指令

具体对应什么二进制字节状态呢？

这个去哪里找呢？

python源头

python是从哪里来的呢？

python 是开源编程语言
整个的源代码都是开放的
我们可以去github找到他的源代码

https://github.com/python/cpython

二进制状态

搜索LOAD_NAME并且排查

找到字节码状态位置

指令对应着一个字节码状态值

https://github.com/python/cpython/blob/main/Lib/opcode.py

这样我们能否找到
4条指令分别对应的字节状态值

4条指令

指令助记符	指令含义	十进制状态	十六进制状态
LOAD_NAME	装载函数名称	101	0x65
LOAD_CONST	装载参数	100	0x64
CALL_FUNCTION	调用函数	142	0x8e
POP_TOP	弹栈返回	1	0x01