![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pandas相关用法
-小宋同学-
这个作者很懒,什么都没留下…
展开
-
pandas透视数据写入之dataframe_to_rows()妙用
在pandas中,pivot_table()函数用于创建透视表,即根据指定的行和列对数据进行重塑和汇总。df.pivot_table()方法生成数据是一个Dataframe类型,假如将生成统计数据写入Excel保存,但使用df.to_excel()方法保存后,首行和首列均会加粗、加上边框,整体看不美观;于是我们这里结合openpyxl库将数据写入,且可调整单元格样式。语法:dataframe_to_rows(df, index=True, header=True)原创 2023-08-25 17:32:31 · 1258 阅读 · 0 评论 -
pandas数据合并之pd.concat()用法
一、简介pd.concat()函数可以沿着指定的轴将多个dataframe或者series拼接到一起。基本语法:pd.concat( objs, axis=0, join=‘outer’, join_axes=None,ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=None, copy=True,)objs 表示需要连接的对象,比如:[df1, df2],需要将合并的数据原创 2021-07-02 22:51:48 · 82309 阅读 · 2 评论 -
pandas 用df.to_excel()将dataframe保存至Excel时报出“MemoryError”错误的解决办法
一、原因使用pandas 中to_excel函数对数据量大的dataframe数据写入的时候,有时候会报出“MemoryError”错误。如下代码:import pandas as pdimport numpy as np# 生成dataframe数据并写入Excel表中df = pd.DataFrame(np.arange(12000000).reshape(300000,40))# print(df)df.to_excel('test.xlsx',index=False)运行结果原创 2021-06-29 23:25:09 · 10332 阅读 · 0 评论 -
pandas 用read.csv()读取csv文件后数据总行数减少的解决办法
一、原因当文本文件中带有英文双引号时,直接用pd.read_csv进行读取会导致行数减少,此时应该对read_csv设置参数quoting=3或者quoting=csv.QUOTE_NONE二、解决办法import pandas as pd''' filepath 代表要读取的csv文件,sep代表csv的分隔符,默认是逗号''''df = pd.read_csv(filepath, sep='\t', dtype=str, quoting=csv.QUOTE_NONE)print(df.原创 2021-06-29 10:40:56 · 6286 阅读 · 4 评论 -
pandas读取Excel判断指定列是否有空值
简介有时我们用pandas读取Excel去获取某列或者某几列的值,并需要对该列的值进行处理,首先要判断该列是否有空值,若有空值不做判断可能程序会报错,比如用正则表达式去匹配该列的所有单元格的值,这时若某个单元格为空值则会报错。思路我们可以将空值找出,并做判断,若不为空再进行匹配;正常情况pandas读取的空值都会显示NaN,若我们用df[i] == np.nan 去判断这显示为False,i这里代表索引。达不到我们想要的目的,建议用df.isnull()进行判断。方法例如:这里我们知道第二行原创 2020-06-16 22:08:36 · 14231 阅读 · 3 评论 -
pandas读取csv文件时将多列数据读取为为一列的问题
简介有时我们在用pandas读取一个不知道什么格式的csv文件时,会出现如下情况,>>> import pandas as pd>>> df = pd.read_csv(r'C:\Users\songyuxue\Desktop\12.csv',encoding='gbk',sep='\t')>>> print(df)这时我们发现每...原创 2020-05-12 22:21:14 · 8581 阅读 · 2 评论