Python之读取数据，处理成字典。

Python之读取大文件到内存中，以字典形式。

读取大文件到内存中，以字典形式。

方法一：

**读取大文件，分批次读取，节省内存，引用了上一篇Python之logging优雅打印日志**

#定义全局变量，获取当前路径，并创建存储文件的文件夹
abs_path = os.path.abspath('.')
DATA_PATH = abs_path + '/dmp_data'
if not os.path.exists(DATA_PATH):
    os.mkdir(DATA_PATH)
DATA_PATH_LOAD = DATA_PATH + '/file_load_dict'

定义加载字典的函数

def load_dict(file_path):
    def max_mem_usage():
        return resource.getrusage(resource.RUSAGE_SELF).ru_maxrss