python提取数据量大时用切片处理数据模板

GIS从业者

已于 2023-10-19 15:08:27 修改

阅读量99

点赞数

分类专栏： python 文章标签： python切片

于 2023-10-19 11:29:30 首次发布

本文链接：https://blog.csdn.net/yilvyangguang520/article/details/133923055

版权

python 专栏收录该内容

62 篇文章 1 订阅

订阅专栏

本文介绍了如何使用Python的pandas库，通过分块读取SQL数据库和Excel文件，实现高效的数据处理，包括使用`pd.read_sql`逐块读取SQL数据并存储，以及`pd.read_excel`按块读取Excel文件并进行迭代操作。

摘要由CSDN通过智能技术生成

## 1、sql
for chunk in pd.read_sql(sql,conn,chunksize=chunksize):
        count+=1
        df=chunk
        if count==1:
            save_sql(df,if_exists="replace")
            print("11",time.time()-time1)
            save_csv(df, mode='w')
        else:
            save_sql(df,if_exists="append")
            print("11",time.time()-time1)
            save_csv(df, mode='a')
        df=pd.DataFrame()
      
  ## 2、excel
  find=True
    while find==True:
        chunks=pd.read_excel(excelinputfilename,skiprows=skiprows,nrows=chunksize,header=0).values
        if len(chunks)>0:
            skiprows+=chunksize
            count+=1
            for chunk in chunks:
                word=chunk[0]