因为做实验的关系,必须要读入五六七个G的文本txt,刚开始用之前读小文件的代码,读入速度非常慢,读一行的速度比写一行的速度慢了几百倍,我直觉肯定是哪里把读入文件的问题复杂化了,于是开始查资料,终于找到了合适的解决方案
总之就是python里map和split的正确使用
def loaddata(memory, path):
with open(path,'r') as f:
X_row = 0 # 表示矩阵的行,从0行开始
因为做实验的关系,必须要读入五六七个G的文本txt,刚开始用之前读小文件的代码,读入速度非常慢,读一行的速度比写一行的速度慢了几百倍,我直觉肯定是哪里把读入文件的问题复杂化了,于是开始查资料,终于找到了合适的解决方案
总之就是python里map和split的正确使用
def loaddata(memory, path):
with open(path,'r') as f:
X_row = 0 # 表示矩阵的行,从0行开始