python文件编译与pyc反编译

pyc是编译py之后生成的二进制文件。当我们发布系统的时候不想让别人看到源代码，就需要将py文件编译生成pyc文件，对外只提供pyc文件。同样，如果拿到一个python程序，只有pyc文件，我们就无法看到源码，希望有办法反编译pyc文件以获得源码。

既然有反编译的需求，为了保护pyc文件不被反编译，我们又希望找到一个方法来防止pyc文件被反编译。

本文介绍了如何将py文件编译成pyc和pyo文件，也介绍了如何反编译pyc文件， 又给出了一种字节码混淆方法来防止pyc文件被反编译。

 

1 编译py文件到pyc和pyo

pyc是编译py之后生成的二进制文件，由python虚拟机来执行的。当我们发布系统的时候不想让别人看到源代码，就需要将py文件编译生成pyc文件，对外只提供pyc文件。

同时，在模块被加载时，.pyc文件比.py文件更快

但是pyc的内容跟python的版本相关，不同的版本编译后的pyc文件不同，2.5编译的pyc文件不能到3.5上执行.

 

 

发布python软件的过程为：

1. 生产pyc文件: python -m compileall .

2. 删除py文件: find . -name “*.py” |xargs rm -rf

3. 删除pycache目录: find . -name “pycache” |xargs rm -rf

1.1 Python2 编译

命令：

python -m py_compile file.py

python -m py_compile {file1,file2}.py

编译完成后，生成的 .pyc文件在当前目录。

 

可以使用-O或者-OO转换python命令来减少编译模块的大小

    -O转换会帮你去掉assert语句

    -OO转换会帮你去掉assert语句和__doc__文档字符串

由于一些程序可能依赖于assert语句或文档字符串，应该在确认需要的情况下使用这些选项。

例如 python –O -m py_compile file.py 会在本目录生成 file.pyo

 

1.2 python3 编译

Python3的编译和python2一样，只是在python3之后编译后的文件在pycache目录下，而不是与源文件同一目录。

那么如何让python3实现生成的pyc与源代码在同一目录呢？可以加上-b参数，例如

Python3 -m py_compile -b file.py

 

 

1.3 批量编译

python -m compileall DIR

python3 -m compileall –b DIR

DIR为需要编译的目录

例如： python -m compileall .

 

参数说明：

usage: python compileall.py [-l] [-f] [-q] [-d destdir] [-x regexp] [-i list] [directory|file ...]

 

arguments: zero or more file and directory names to compile; if no arguments given,

           defaults to the equivalent of -l sys.path

 

options:

-l: don't recurse into subdirectories

-f: force rebuild even if timestamps are up-to-date

-q: output only error messages

-d destdir: directory to prepend to file paths for use in compile-time tracebacks and in

            runtime tracebacks in cases where the source file is unavailable

-x regexp: skip files matching the regular expression regexp; the regexp is searched for

           in the full path of each file considered for compilation

-i file: add all the files and directories listed in file to the list considered for

         compilation; if "-", names are read from stdin

1.4 代码实现

单文件编译:

import py_compile
py_compile.compile('path') //path是包括.py文件名的路径

批量编译：

      import compileall

compileall.compile_dir('$dir')

 

2反编译pyc

如果只有pyc文件，我们是无法直接查看内容的，这时，就需要反编译工具将pyc文件反编译成py源程序。 这里介绍uncompyle6反编译工具。Pyc文件能够反编译的前提是文件没有被加密或者代码混淆。

2.1 Uncompyle6安装

> git clone https://github.com/rocky/python-uncompyle6.git

> git checkout python-2.4

> sudo python setup.py install

如果没有报错，则安装成功了。

2.2反编译

执行命令：

>uncompyle6 -o . *.pyc

这时会在当前目录生成.py源文件。

3 防止反编译pyc文件

如何防止pyc文件被反编译呢? 这里介绍字节码混淆的方法，此方法能够抵挡低端的反编译手段，例如第2章的方法，但是，要到高手，还是抵挡不住。

字节码混淆可以非常容易的欺骗通常的反汇编器和反编译器，同时不影响代码的正常执行。下面这个例子展示了如何欺骗Uncompyle6反编译器以及dis反汇编器：

#一个简单的Python应用 sample1.py

print 'Hello World'

对其进行编译：

python -m py_compile sample1.py

对编译后的sample1.pyc使用Python内置dis模块反汇编：

      >>> import marshal,dis

>>> fd = open('sample1.pyc', 'rb')

>>> fd.seek(8)

>>> sample1_code_obj = marshal.load(fd)

>>> fd.close()

>>> dis.dis(sample1_code_obj)

  1           0 LOAD_CONST               0 ('Hello World')

              3 PRINT_ITEM

              4 PRINT_NEWLINE

              5 LOAD_CONST               1 (None)

              8 RETURN_VALUE

>>>

 

以上的汇编代码笔者肉眼反汇编的结果如下：

0 LOAD_CONST     0 ('Hello World') #加载co_consts[0]到栈顶，co_consts[0]存储着常量字符串'Hello World'

3 PRINT_ITEM                       #打印栈顶到sys.stdout，即print 'Hello World'

4 PRINT_NEWLINE                    #打印新行到sys.stdout，此指令因print语句而由编译器自动生成

5 LOAD_CONST     1 (None)          #加载co_consts[1]到栈顶，co_consts[1]存储着None

8 RETURN_VALUE                     #将栈顶返回给调用者，此两条指令为编译器自动生成

 

现在我们修改sample1.pyc，在程序入口增加一条绝对跳转指令（可以使用UltraEdit 16进制插入功能修改pyc文件，”JUMP_ABSOLUTE 3”在Python 2.7中对应的字节码为 0x71 0x03 0x00。修改code string内容的同时应修改code string的长度，此处增加了一个3字节指令)，使用内置dis模块反汇编的结果如下：

  1           0 JUMP_ABSOLUTE            3                 #自行添加

        >>    3 LOAD_CONST               0 ('Hello World')

              6 PRINT_ITEM

              7 PRINT_NEWLINE

              8 LOAD_CONST               1 (None)

             11 RETURN_VALUE

 

如果读者对汇编代码有一定认识，就会明白此处的绝对跳转对Python虚拟机执行此程序基本没有影响（除了增加一个指令执行周期），然而这个绝对跳转将成功欺骗反编译器。使用Uncompyle6反编译的结果如下：

<<< Error: Decompiling stopped due to <class 'uncompyle6.semantics.pysource.ParserError'>

如果一个pyc文件无法被反编译，初级的破解者可能就会止步于此了，但对于有经验的工程师来说这还远远不够。同样的，我们还要让通常的反汇编器也无法工作才行。按下面的汇编代码继续加工上面的sample1.pyc。

|   1           0 JUMP_ABSOLUTE        [71 06 00]     6

|               3 LOAD_CONST           [64 FF FF] 65535 (FAKE!)

|         >>    6 LOAD_CONST           [64 00 00]     0 (Hello World)

|               9 PRINT_ITEM           [47 -- --]

|              10 PRINT_NEWLINE        [48 -- --]

|              11 LOAD_CONST           [64 01 00]     1 (None)

|              14 RETURN_VALUE         [53 -- --]

 

以上第二条指令的意思是加载code object常量表的第65535项到栈顶。在上述sample1.pyc中，常量表的长度为2，下标65535已超出常量表的范围，所以这是条非法指令。但由于第一条绝对跳转的存在，第二条指令永远都不会被执行。通常的反汇编器如dis会尽全力列举有用的信息，但并不能理解实际执行的控制流，当反汇编器尝试反汇编第二条指令时，会试着去读取code object常量表的第65535项并且抛出一个’tuple index out of range’的意外。Python内置dis模块的出错信息如下：

>>> fd = open('sample1.pyc', 'rb')

>>> fd.seek(8)

>>> import marshal,dis

>>> sample1_code_obj = marshal.load(fd)

>>> dis.dis(sample1_code_obj)

  1           0 JUMP_ABSOLUTE            6

              3 LOAD_CONST           65535

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

  File "C:\Python27\lib\dis.py", line 43, in dis

    disassemble(x)

  File "C:\Python27\lib\dis.py", line 96, in disassemble

    print '(' + repr(co.co_consts[oparg]) + ')',

IndexError: tuple index out of range

>>>

 

现在Uncompyle6和dis都被欺骗了，代码得到了有效的保护。

4 Reference

https://blog.csdn.net/ir0nf1st/article/details/61650984

https://www.cnblogs.com/nickchen121/p/10802465.html

https://www.cnblogs.com/dkblog/archive/2009/04/16/1980757.html