外包 | py2 下的 pickle 转成 py3 下的 pickle

外包 | py2 下的 pickle 转成 py3 下的 pickle

相关文件下载

相关文件下载
 

任务需求

这个老哥不知道哪里搞来的pickle文件, 是在python2.7下保存的, 然后试了一下, 的确在python3.x下打不开, 会报编码错误.

然后到网上查了一些相关资料, 也试了一下网上的方法, 发现在 pickle.load() 这一步的确可以load出来, 比如:

# 在load()里面加加上 encoding='latin1', 或者 encoding='iso-8859-1'
with open('./factor_solve_data.pkl', 'rb') as r:
	pklData = pickle.load(r, encoding='latin1')
r.close()

这样的话的确可以load出来:

load()出来后可以看到里面是一个大字典, 大字典里面是一个个的 DataFrame, 我尝试一下将其中一个拎出来


结果就是一堆错误, 那应该问题就是 python 2.x 和 python 3.x 的 pickle 和 DataFrame 编码格式不同所导致的.
 

解决思路

那没办法了, 当时就只能想到一个最简单粗暴的了:

在 python2.x 的环境下:

1. 先用 pickle 将 pkl 文件 load 出来
2. 然后用 pandas 将里面的一个个 DataFrame 转成 excel 表格

 
然后在python3.x的环境下:

1. 用 pandas 将保存下来的 excel 表格一个个读取成 DataFrame
2. 然后用 pickle dump保存成新的 pkl 文件

import pandas
import pickle
import os

# 这里用 python2.x 来操作 ========================
with open('./factor_solve_data.pkl', 'r') as r:
    pklData = pickle.load(r)
r.close()
for key, value in pklData.items():		# load()出来后是一个个字典, 用for循环将键值对读取出来
    value.to_excel('./xlsx/%s.xlsx'%key, encoding='utf-8')		# 将值转成excel, 然后以键的名字来进行命名
# 这里用 python2.x 来操作 ========================

# 这里用 python3.x 来操作 ========================
# 仿照原来的pkl文件, 将数据存进一个大字典里
pklDict = {}
for file in os.listdir('./xlsx'):
	# 读取excel表格, 以第一列作为索引
    df = pandas.read_excel(f'./xlsx/{file}', index_col=0)
    # 将excel文件名作为字典的键, file[:-5]是只取名字, 不要后面的 `.xlsx` 后缀
    pklDict[file[:-5]] = df
with open('py3Data.pkl', 'wb') as w:
    pickle.dump(pklDict, w)
w.close()
# 这里用 python3.x 来操作 ========================