pandas 读取指定范围数据,避免全部加载内存
主要参数
header: 指定列名文件
skiprows :指定 哪些行可以跳过,可以是范围 例如 range(10,100)
nrows :指定总共加载多少行数据
应用场景1:
pandas 读取大文件,开发进行调试
import pandas as pd
# 只读取 100行
row_num = 100
df =pd.read_csv(infile,header=0,nrows=row_num)
应用场景2
pandas 读取制定范围的数据,例如 读取 10到100行
import pandas as pd
# 读取(10,100+10)范围数据
start = 10
row_num = 100
df =pd.read_csv(infile,header=0,skiprows=start,nrows=row_num)
应用场景3
pandas 读取指定范围数据,且保留第一行的列名
import pandas as pd
# 读取(10,100+10)范围数据,且保留原始列名
start = 10
row_num = 100
df =pd.read_csv(infile,header=0,skiprows=range(1,start+1),nrows=row_num)