dataframe常用笔记

在jupyter notebook里面shift+tab查看函数详情

常用的库/包

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

导入csv或者excel文件

os.chdir(r" ")
os.getcwd()#获取当前路径
os.listdir()
#当前文件夹的list

df=pd.read_csv('XXXXX.csv',sep=';',header=0)
#指定读入csv文件的分隔符
df=pd.read_excel("XXXX.xlsx",sheet_name=None)#为none表示读入所有的sheet
df.keys()#查看sheet的名称
df=pd.read_excel("XXXX.xlsx",sheet_name="Sheet1")
df=pd.read_excel("XXXX.xlsx",sheet_name="Sheet1",dtype='str')
#dtype='str'表示所有列读入的时候就指定数据类型，比较粗暴

其他转换数据类型的方法：

python 01数据类型转换_如何将所有或部分dataframe的数据类型转换为字符串_跑马的汉子_的博客-CSDN博客_dataframe将某列转为字符串读取原始数据的时候,经常会遇到字符型变量读入变成了数值型,比较定性的就是商户ID,银行卡号这类标识型数据, 可以使用三种方法解决这个问题:第一种:在读取数据的时候,指定数据类型data = pd.read_csv('test.txt',sep = '|',dtype = 'str')上面说的是, 1,读取工作文件路径中标题为test.txt的文件, 2,采用的分割符是’|’分隔符...https://blog.csdn.net/qq_34490873/article/details/81205523

数据检查：

#数据检查
df.info()
#数据大体情况
df.describe()

#自定义函数
def data_check(df,if_detail_info=True):
    print("There are",df.shape[0],"rows and",df.shape[1],"columns")
    print("The variables are:",df.columns)
    if if_detail_info==True:
        print("---------------------------------------------")
        print(df.info())
        
data_check(df)

关于merge函数的使用方式：

pd.merge()只能用于两个表的左右拼接

merge默认是inner内连接，只把主键相同的信息进行连接，不指定on，相同信息的列作为判断依据。所以，一般情况下都要指定on。

也可以使用索引进行左右拼接，left_index=True或者right_index=True就可以（默认为false)，但基本用不上吧。

how="outer"，外连接是保留两个表的所有信息，拼接的时候遇到标签不能对齐的部分，用NAN进行填充。

how="left"，左连接是保留所有左表的信息，把右表中主键与左表一致的信息拼接进来，标签不能对齐的部分，用NAN进行填充。

indicator=True，设定显示拼接后的表中哪些信息来自于哪一个表格，默认为false

#两表合并
data=pd.merge(a,b,how="left",on=[" "," "])

pandas数据合并之一文弄懂pd.merge（） - 知乎CDA数据分析师 出品在合并数据的操作中，除了pd.concat()函数，另一个常用的函数就是pd.merge()了，这两个函数也经常被拿来比较，其实只要弄懂了函数中重要参数的作用理解了每个函数的用法，自然就知道在哪种情况…https://zhuanlan.zhihu.com/p/132579724

pd.concat()多表拼接：

axis=0 表示上下堆叠，当axis=1表示左右拼接。默认axis为0。

#两张表字段是一样的，直接上下合并
df=pd.concat([df1,df2,df3])
#合并之后记得重置index
df.reset_index(inplace = True)

删除：

#删掉某列中某些不要的字段
data=df[-df.时间.isin(["1月","2月","3月"])]
#直接删掉某列
data.drop("Education",axis=1) #axis=0代表行，axis=1代表列，重要，如果不写默认为0

排序：

data.sort_values(by="Age",axis=0,ascending=True).head() 
data.sort_values(by=["Age","Income"],axis=0,ascending=True).head() 
#两个排序条件，从小到大排序把ascending改为false

pd.pivot_table()

python中的数据透视表pivot_table参数详解 - 知乎官方文档参考: Jupyter Notebook Viewer其他文档参考: Pandas_聚合数据_pivot_table()_Python_学习笔记-CSDN博客pd.pivot_table( data, values=None, index=None, columns=None, aggfunc='mean', fill_val…https://zhuanlan.zhihu.com/p/127811410