方法一:
可以通过生成器,分多次读取,开始读取500M数据,处理后再接着读取后面的数据。
方法二:
可以通过Linux中的split方法切割成小文件,然后再对数据进行处理,这种方法的效率比较高,可以按照文件的行数进行分割,也可以按照文件的大小进行分割。
方法一:
可以通过生成器,分多次读取,开始读取500M数据,处理后再接着读取后面的数据。
方法二:
可以通过Linux中的split方法切割成小文件,然后再对数据进行处理,这种方法的效率比较高,可以按照文件的行数进行分割,也可以按照文件的大小进行分割。