准备加强python学习,在网上翻了几篇文章想了解一下pyc结构
我的python 是3.7.1 x64
写了一个简单的python3代码
def add(a,b):
return a+b
def mul(a,b):
return a*b
def plu(a,b):
return a-b
def div(a,b):
return a/b
保存成lib.py 编译生成pyc
python -m lib
注意这个地方千万不要加后缀 .py,不然会报错
Error while finding module specification for 'lib.py' (ModuleNotFoundError: __path__ attribute not found on 'lib' while trying to find 'lib.py')
我也是在网上找了很久才发现这个问题解决办法,有很多文章是有加py后缀,也可能有些版本是没有问题的,我的python版本是3.7.1,如下图
编译完成后会生成__pycache__/lib.cpython-37.pyc文件
在网上找了一篇分析pyc的python代码
import dis, marshal, struct, sys, time, types, binascii
def show_file(fname):
f = open(fname, "rb")
magic = f.read(4)
moddate = f.read(4)
filesz = f.read(4)
modtime = time.asctime(time.localtime(struct.unpack('=L', moddate)[0]))
filesz = struct.unpack('=L', filesz)
print ("magic %s" % (binascii.hexlify(magic)))
print ("moddate %s (%s)" % (binascii.hexlify(moddate), modtime))
print ("files sz %d" % filesz)
code = marshal.load(f)
show_code(code)
def show_code(code, indent=''):
print ("%scode" % indent)
indent += ' '
print ("%sargcount %d" % (indent, code.co_argcount))
print ("%snlocals %d" % (indent, code.co_nlocals))
print ("%sstacksize %d" % (indent, code.co_stacksize))
print ("%sflags %04x" % (indent, code.co_flags))
show_hex("code", code.co_code, indent=indent)
dis.disassemble(code)
print ("%sconsts" % indent)
for const in code.co_consts:
if type(const) == types.CodeType:
show_code(const, indent+' ')
else:
print (" %s%r" % (indent, const))
print ("%snames %r" % (indent, code.co_names))
print ("%svarnames %r" % (indent, code.co_varnames))
print ("%sfreevars %r" % (indent, code.co_freevars))
print ("%scellvars %r" % (indent, code.co_cellvars))
print ("%sfilename %r" % (indent, code.co_filename))
print ("%sname %r" % (indent, code.co_name))
print ("%sfirstlineno %d" % (indent, code.co_firstlineno))
show_hex("lnotab", code.co_lnotab, indent=indent)
def show_hex(label, h, indent):
h = binascii.hexlify(h)
if len(h) < 60:
print ("%s%s %s" % (indent, label, h))
else:
print ("%s%s" % (indent, label))
for i in range(0, len(h), 60):
print ("%s %s" % (indent, h[i:i+60]))
#show_file(sys.argv[1])
show_file("D:\\wksp_py\\__pycache__\\lib.cpython-37.pyc")
运行报错
magic b'420d0d0a'
moddate b'00000000' (Thu Jan 1 08:00:00 1970)
Traceback (most recent call last):
File "ppyc.py", line 46, in <module>
show_file("D:\\wksp_py\\__pycache__\\lib.cpython-37.pyc")
File "ppyc.py", line 12, in show_file
code = marshal.load(f)
ValueError: bad marshal data (unknown type code)
这个问题,折腾很长时间,我也在网上查了,这段代码网上很多地方都有,分析二进制,查看python源码,其中艰辛暂时不表,直接说结果。
最终在pep552上找到答案
PEP 552 -- Deterministic pycs | Python.org
头部,由3个32bit变成4个
第一个32bit是魔数,表示字节码的版本和pyc文件格式
第二个32bit是新的位域,如果这个位域为0,则第三和第四字节还是老的时间戳和文件大小
这个特性是在Python 3.7和3.7以上版本,3.6版本还是3个32bit,这个我在python 3.6.9上测试过。
接着我把上述代码中的
magic = f.read(4)
改为
magic = f.read(8)
整个运行正常。