已解决Python报错Memoryerror

已解决Python报错Memoryerror

---

---

报错代码

粉丝群里面的一个小伙伴想用python读取大文件入库，但是发生了报错（当时他心里瞬间凉了一大截，跑来找我求助，然后顺利帮助他解决了，顺便记录一下希望可以帮助到更多遇到这个bug不会解决的小伙伴），报错代码如下：：

打开文件代码：

def analysis_json(file, source_type, source_time):
    f = open(file, 'r', encoding='utf-8', )

    json_list = f.readlines()
    ...
    return data_list1, data_list2, data_list3

多线程代码：

data_list1, data_list2, data_list3 = analysis_json(json_path, source_type, source_time)
# # 主表
t1 = Thread(target=insert_sql1, args=(data_list1,))
t1.start()
# 副表
t2 = Thread(target=insert_sql2, args=(data_list2,))
t2.start()
# 流程表
t3 = Thread(target=insert_sql3, args=(data_list3,))
t3.start()

报错信息截图如下：

报错翻译

报错信息翻译：内存映射

报错原因

出现这个报错的原因就是因为内存炸了。

代码问题分析：

• 问题1：f = open(file, 'r', encoding='utf-8', )打开了文件，但是没有关闭所以会一直在内存中

• 问题2：一个文件解析完了开多线程往三个表里面存，可能其他一个线程跑完了就又去读另一个文件导致越来越多的文件堵在内存中，最后内存崩了。小伙伴们按下面的方法一一解决即可！！！
  
  
  
  
  
  

解决方法

1. 首先我们每次读完一个文件肯定是需要关闭文件，释放内存：

f = open(file, 'r', encoding='utf-8', )

# 中间写解析代码
# 关闭文件，释放内存
f.close()

2. 在用多线程的时候，加上上join()等所有的子线程执行完在继续执行主线程代码：

t1.join()
t2.join()
t3.join()

以上是此问题报错原因的解决方法，欢迎评论区留言讨论是否能解决，如果有用欢迎点赞收藏文章谢谢支持，博主才有动力持续记录遇到的问题！！！

千人全栈VIP答疑群联系博主帮忙解决报错

由于博主时间精力有限，每天私信人数太多，没办法每个粉丝都及时回复，所以优先回复VIP粉丝，可以通过订阅限时9.9付费专栏《100天精通Python从入门到就业》进入千人全栈VIP答疑群，获得优先解答机会（代码指导、远程服务），白嫖80G学习资料大礼包，专栏订阅地址：https://blog.csdn.net/yuan2019035055/category_11466020.html

• 优点：作者优先解答机会（代码指导、远程服务），群里大佬众多可以抱团取暖（大厂内推机会），此专栏文章是专门针对零基础和需要进阶提升的同学所准备的一套完整教学，从0到100的不断进阶深入，后续还有实战项目，轻松应对面试！

• 专栏福利：简历指导、招聘内推、每周送实体书、80G全栈学习视频、300本IT电子书：Python、Java、前端、大数据、数据库、算法、爬虫、数据分析、机器学习、面试题库等等

• 注意：如果希望得到及时回复，订阅专栏后私信博主进千人VIP答疑群
  

免费资料获取，更多粉丝福利，关注下方公众号获取