pythonLibs(6) - Pandas

小陈同学-陈百万

已于 2024-04-03 10:02:51 修改

阅读量1k

点赞数

分类专栏： PythonLibs 文章标签： python 数据挖掘数据分析

于 2020-07-27 20:09:16 首次发布

本文链接：https://blog.csdn.net/sinat_40624829/article/details/107609679

版权

PythonLibs 专栏收录该内容

16 篇文章 3 订阅

订阅专栏

Pandas 简易使用

1.Pandas简介
2.创建
- 2.1创建dataFrame
- 2.2创建Series
3.dataframe数据访问
4.dataframe删除操作
- 4.1 DataFrame.drop()
- 4.2 删除一列--del,pop
5.dataframe 合并追加操作
6.dataframe统计操作
7.文件读写
8.统计绘图（待）
- 8.1 DataFrame.hist()
9.常用方法清单

1.Pandas简介

是什么
Pandas 是 Python 的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。

Pandas 的主要数据结构： Series（一维数据） 与 DataFrame（二维数据），这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型用例。

Pandas 的优势

1.处理浮点与非浮点数据里的缺失数据，表示为NaN；
2.成熟的 IO 工具：读取文本文件（CSV 等支持分隔符的文件）、Excel 文件；
3.把 Python 和 NumPy 数据结构里不规则、不同索引的数据轻松地转换为 DataFrame 对象；

Pandas 可用于，数据处理 整个流程中：
数据整理与清洗->数据分析与建模->数据可视化与制表

Pandas 里，绝大多数方法都不改变原始的输入数据，而是复制数据，生成新的对象。 一般来说，原始输入数据不变更稳妥。(内存管理问题)

2.创建

2.1创建dataFrame

1.不指定数据创建，然后填入数据

>>> dfa=pd.DataFrame()
>>> dfa["A"]=np.array([1,2,3,4])
>>> dfa
   A
0  1
1  2
2  3
3  4

2.numpy数组创建

>>> dfb= pd.DataFrame(np.random.randn(3, 4), index=["day1","day2","day3"], columns=list('ABCD'))
>>> dfb
             A         B         C         D
day1  0.292165 -0.514650 -1.013541  0.206613
day2  1.255805 -0.504385 -0.121249 -0.041156
day3  0.083240 -0.887587  0.792058 -0.144602

3.字典创建

data = {"id" : ["Jack", "Sarah", "Mike"],
        "age" : [18, 35, 20],
        "cash" : [10.53, 500.7, 13.6]}
df = pd.DataFrame(data)                                     # 默认列名
print(df)
df2 = pd.DataFrame(data, index=["one", "two", "three"])     # 设定列名
print(df2)

输出：

      id  age    cash
0   Jack   18   10.53
1  Sarah   35  500.70
2   Mike   20   13.60
          id  age    cash
one     Jack   18   10.53
two    Sarah   35  500.70
three   Mike   20   13.60

2.2创建Series

系列其实构成了dataframe中的一列，默认的情况下，系列的索引是非负整数列

s = pd.Series({"a" : 4, "b": 9, "c" : 16}, name="number")
print(s)

输出

a     4
b     9
c    16
Name: number, dtype: int64

3.dataframe数据访问

系列类似于数组，可以使用下标索引，支持向量化操作。由很多的系列构成dataFrame，所以对dataFrame的操作也与系列中类似。

# 系列的访问
print(s[0], s[:3])      # 下标，切片
print(s["a"])           # 索引
print(np.sqrt(s))

# dataFrame 的增删查改
print(df["id"])                     # 查
df["rich"] = df["cash"] > 200.0     # 增
print(df)
del(df["rich"])                     # 删除
print(df)

输出：

----------
4 a     4    #print(s[0], s[:3]) 的结果
b     9
c    16
Name: number, dtype: int64
4
a    2.0
b    3.0
c    4.0
Name: number, dtype: float64
0     Jack
1    Sarah
2     Mike
Name: id, dtype: object
      id  age    cash   rich
0   Jack   18   10.53  False
1  Sarah   35  500.70   True
2   Mike   20   13.60  False
      id  age    cash
0   Jack   18   10.53
1  Sarah   35  500.70
2   Mike   20   13.60

3.1 获取一列–列标签

>>> df["A"]
2013-01-01   -0.512998
2013-01-02    0.851308
2013-01-03    0.154169
Freq: D, Name: A, dtype: float64

3.2 获取多列–列标签列表

(列标签需要放在List中，否着无法访问)

>>> df[["A","B"]]
                   A         B
2013-01-01 -0.512998  1.674901
2013-01-02  0.851308  0.090532
2013-01-03  0.154169  0.761327

3.3 获取一行–行标签.loc()

>>> df.loc["2013-01-01"]
A   -0.512998
B    1.674901
C   -0.447253
D    1.888928
Name: 2013-01-01 00:00:00, dtype: float64

3.4 获取多行–行切片操作.loc()

不能用df.loc[[“2013-01-01”,“2013-01-02”]]）

>>> df[0:2]
                   A         B         C         D
2013-01-01 -0.512998  1.674901 -0.447253  1.888928
2013-01-02  0.851308  0.090532 -0.407433  0.320288

3.5 index 获取行列信息–df.iloc()

类似于numpy矩阵的索引操作
1.获取一行

>>> df.iloc[0]
A   -0.512998
B    1.674901
C   -0.447253
D    1.888928
Name: 2013-01-01 00:00:00, dtype: float64
>>> df.iloc[0,:]
A   -0.512998
B    1.674901
C   -0.447253
D    1.888928
Name: 2013-01-01 00:00:00, dtype: float64

2.获取多行–行索引切片

>>> df.iloc[0:2]
                   A         B         C         D
2013-01-01 -0.512998  1.674901 -0.447253  1.888928
2013-01-02  0.851308  0.090532 -0.407433  0.320288

3.行列切片

-0.512997918520904
>>> df.iloc[0:2,1:2]
                   B
2013-01-01  1.674901
2013-01-02  0.090532

3.6 获取一个元素

>>> df.loc["2013-01-01", 'A']
-0.512997918520904

>>> df.at["2013-01-01", 'A']
-0.512997918520904

>>> df.iloc[0,0]
-0.512997918520904

3.7 布尔值选择数据

>>> df[df.A > 0]
                   A         B         C         D
2013-01-02  0.851308  0.090532 -0.407433  0.320288
2013-01-03  0.154169  0.761327 -0.488159 -0.498190

利用.reset_index(drop=True) 重新设置行标号

4.dataframe删除操作

4.1 DataFrame.drop()

DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False)

参数：

labels	要删除的行，列的标签，用列表给定
axis	默认为0，指删除行；删除columns时要指定axis=1
index	直接指定要删除的行索引
columns	直接指定要删除的列名称
inplace	=False，默认该删除操作不改变原数据，而是返回一个执行删除操作后的新
	=True，则会直接在原数据上进行删除操作，删除后无法返回。

因此，删除行列有两种方式：

1）labels=None,axis=0 的组合
2）index或columns直接指定要删除的行或列

df.drop(['B', 'C'], axis=1)  # 删除"B","C"列
df.drop([0, 1])				 # 删除0，1行
df.drop(columns=['B', 'C'])	 # 删除"B","C"列
df.drop(index=[0, 1])    	 # 删除0，1行

按列标号删除列

DF.drop([DF.columns[[0,1, 3]]], axis=1,inplace=True) # Note: zero indexed

4.2 删除一列–del,pop

 >>> del df["A"]			# 删除列A
>>> df
                   B         C         D
2013-01-01  1.674901 -0.447253  1.888928
2013-01-02  0.090532 -0.407433  0.320288
2013-01-03  0.761327 -0.488159 -0.498190
>>> B=df.pop("B")			# 将第B列弹出，起到输出某一列的作用 
>>> df
                   C         D
2013-01-01 -0.447253  1.888928
2013-01-02 -0.407433  0.320288
2013-01-03 -0.488159 -0.498190
>>> B
2013-01-01    1.674901
2013-01-02    0.090532
2013-01-03    0.761327
Freq: D, Name: B, dtype: float64
>>>

5.dataframe 合并追加操作

5.1 追加一行

>>> df1 = pd.DataFrame(np.random.randn(2, 4), columns=['A', 'B', 'C', 'D'])
>>> df1
          A         B         C         D
0 -0.559292  0.198070 -0.114022 -1.622667
1  0.794817  0.682684  1.476562  0.163302
>>> row=pd.DataFrame(np.random.randn(1, 4), columns=['A', 'B', 'C', 'D'])
>>> df1.append(row,ignore_index=True)
          A         B         C         D
0 -0.559292  0.198070 -0.114022 -1.622667
1  0.794817  0.682684  1.476562  0.163302
2 -1.181575 -0.272601 -1.752255 -0.859897

5.2 追加一列

直接df[“列名”]=一列数据：df, numpy.array

5.3 合并操作-- pd.concat()

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
          keys=None, levels=None, names=None, verify_integrity=False,
          copy=True)

参数
objs	Series，DataFrame或Panel对象的序列或映射
ignore_index	True: 拼接轴上的坐标从0-n-1排布

>>> df1 = pd.DataFrame(np.random.randn(3, 4))
>>> df2 = pd.DataFrame(np.random.randn(3, 4))
>>> df1
          0         1         2         3
0  2.360959 -1.855941 -0.079708  0.533404
1  0.891633 -1.918339 -1.069706  1.069652
2  0.469251  0.198839 -1.661338  1.449165
>>> df2
          0         1         2         3
0  0.697094 -0.003241 -1.077108  0.713898
1 -0.788362  0.616115 -0.123818  1.385414
2 -0.422057 -1.759653  1.094616  0.109523
>>> pd.concat([df1,df2])     # 原有的行标签直接拼接
          0         1         2         3
0  2.360959 -1.855941 -0.079708  0.533404
1  0.891633 -1.918339 -1.069706  1.069652
2  0.469251  0.198839 -1.661338  1.449165
0  0.697094 -0.003241 -1.077108  0.713898
1 -0.788362  0.616115 -0.123818  1.385414
2 -0.422057 -1.759653  1.094616  0.109523
>>> pd.concat([df1,df2],ignore_index=True)   # 忽略原有标签，标签直重新排列
          0         1         2         3
0  2.360959 -1.855941 -0.079708  0.533404
1  0.891633 -1.918339 -1.069706  1.069652
2  0.469251  0.198839 -1.661338  1.449165
3  0.697094 -0.003241 -1.077108  0.713898
4 -0.788362  0.616115 -0.123818  1.385414
5 -0.422057 -1.759653  1.094616  0.109523
>>> pd.concat([df1,df2]).index
Int64Index([0, 1, 2, 0, 1, 2], dtype='int64')
>>> pd.concat([df1,df2],ignore_index=True).index
RangeIndex(start=0, stop=6, step=1)

参考资料：https://blog.csdn.net/zzpdbk/article/details/79232661

6.dataframe统计操作

6.1求均值

1.求列均值

>>> df.mean()
A    0.164160
B    0.842253
C   -0.447615
D    0.570342
dtype: float64

2.求行均值

>>> df.mean(1)
2013-01-01    0.650894
2013-01-02    0.213674
2013-01-03   -0.017713
Freq: D, dtype: float64

6.2 df.describe()

查看数据统计摘要

df.describe()
              A         B         C         D
count  6.000000  6.000000  6.000000  6.000000
mean   0.073711 -0.431125 -0.687758 -0.233103
std    0.843157  0.922818  0.779887  0.973118
min   -0.861849 -2.104569 -1.509059 -1.135632
25%   -0.611510 -0.600794 -1.368714 -1.076610
50%    0.022070 -0.228039 -0.767252 -0.386188
75%    0.658444  0.041933 -0.034326  0.461706
max    1.212112  0.567020  0.276232  1.071804

6.4 df.T

转置操作

>>> df
                   C         D
2013-01-01 -0.447253  1.888928
2013-01-02 -0.407433  0.320288
2013-01-03 -0.488159 -0.498190
>>> df.T
   2013-01-01  2013-01-02  2013-01-03
C   -0.447253   -0.407433   -0.488159
D    1.888928    0.320288   -0.498190

6.4 df排序

6.4.1 按行/列名称排序–df.sort_index()

>>> df
                   C         D
2013-01-01 -0.447253  1.888928
2013-01-02 -0.407433  0.320288
2013-01-03 -0.488159 -0.498190
>>> df.sort_index(axis=1, ascending=False)
                   D         C
2013-01-01  1.888928 -0.447253
2013-01-02  0.320288 -0.407433
2013-01-03 -0.498190 -0.488159
>>> df.sort_index(axis=0, ascending=False)
                   C         D
2013-01-03 -0.488159 -0.498190
2013-01-02 -0.407433  0.320288
2013-01-01 -0.447253  1.888928

6.4.2 按某一行/列值排序

按值排序（指定按某一列的值）

>>> df.sort_values(by='C')
                   C         D
2013-01-03 -0.488159 -0.498190
2013-01-01 -0.447253  1.888928
2013-01-02 -0.407433  0.320288

df.sort_values(by=‘2013-01-03’) 报错

6.5 查看df数据的头部/尾部

df.head()
                   A         B         C         D
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
2013-01-04  0.721555 -0.706771 -1.039575  0.271860
2013-01-05 -0.424972  0.567020  0.276232 -1.087401

df.tail(3)
                   A         B         C         D
2013-01-04  0.721555 -0.706771 -1.039575  0.271860
2013-01-05 -0.424972  0.567020  0.276232 -1.087401
2013-01-06 -0.673690  0.113648 -1.478427  0.524988

6.6 df 与numpy.array 相互转换

DataFrame.to_numpy() 转化成NumPy 数据类型，输出不包含行索引和列标签。当dataframe各列的数据类型不同时，该操作耗费系统资源较大。

>>> df
                   C         D
2013-01-01 -0.447253  1.888928
2013-01-02 -0.407433  0.320288
2013-01-03 -0.488159 -0.498190
>>> df.to_numpy()
array([[-0.44725345,  1.88892814],
       [-0.40743299,  0.32028762],
       [-0.4881592 , -0.49818956]])

6.7 分位点

df.quantile(a)

a就是分位点参数[0,1]

7.文件读写

7.1 pd.read_csv() 读CSV文件

0.读入csv 文件，返回一个df数据

pd.read_csv(filepath , header , parse_dates , index_col)

1.给数据加上一个从0开始的列索引

df=pd.read_csv(“test.csv”,header=None)

2.给的数据加上一个从m开始n-1结束的索引

df=pd.read_csv(“test.csv”,header=None,names=range(m,n))

3.指定数据的第一行为列索引

df=pd.read_csv(“test.csv”,header=0)

4.指定每个列的名称

col_label =[“A”, “B”, “C”]
df = pd.read_csv(“test.csv”, names = col_label)

参考博文：https://www.jianshu.com/p/ebb64a159104

7.2 pd.to_csv() 写csv文件

df.to_csv(“test.csv”,sep=‘?’,header=0,index=0,float_format=‘%.2f’,)

sep=‘?’	数据保存时分隔符，默认为逗号
header=0	不保留列名
index=0	不保留行名
float_format=‘%.2f’	浮点数保留两位小数
columns=[‘name’]	保留特定的列
mode=“a”	追加一行数据

df.to_csv(“test.csv”,mode=“a”,header=False,index=False)
#df 为一行新数据

参考博文：https://blog.csdn.net/toshibahuai/article/details/79034829

7.3 df.read_excel() 读 excel 文件

df.read_excel(io, sheet_name=0, header=0, names=None, index_col=None, 
              usecols=None, squeeze=False,dtype=None, engine=None, 
              converters=None, true_values=None, false_values=None, 
              skiprows=None, nrows=None, na_values=None, parse_dates=False, 
              date_parser=None, thousands=None, comment=None, skipfooter=0, 
              convert_float=True, **kwds)

必要参数
io	Excel的存储路径
sheet_name	定位要读取的子表，整型数字(表格序号，从0开始)、列表名或SheetN

data_path = "./data2.xlsx"
excel = pd.read_excel(path, sheet_name = 0)

参考博文：https://blog.csdn.net/weixin_38546295/article/details/83537558

7.4 df.to_excel()

to_excel()会直接覆盖原来所有的数据表

df = .....
df.to_excel(file_name, sheet_name="xxx")

借助ExcelWriter间接保留原有数据表

#----encoding: utf8------
import pandas as pd
excel_file = "123.xlsx"
writer = pd.ExcelWriter(excel_file)
df_sheet1 = pd.read_excel(excel_file, sheet_name="Sheet1")   # 保持原有的sheet不变
df_sheet1.to_excel(writer, sheet_name="Sheet1")
# 新建处理后数据表
post_process_list = ["sheet2", "sheet3"]
for sheet_name_str in post_process_list:
    df_sheet = pd.read_excel(excel_file, sheet_name=sheet_name_str)
    # do some process....df_sheet.sort_values("delta_s", inplace=True)
    df_sheet.to_excel(writer, sheet_name=sheet_name_str )
writer.save()

8.统计绘图（待）

8.1 DataFrame.hist()

使用DataFrame.hist()方法创建直方图, 该方法是matplotlib pyplot API的包装器。

DataFrame.hist()函数参数接口：

DataFrame.hist(data, column=None, by=None, grid=True, xlabelsize=None, xrot=None, ylabelsize=None, yrot=None, ax=None, sharex=False, sharey=False, figsize=None, layout=None, bins=10, **kwds)

DataFrame.hist()函数返回:

matplotlib.AxesSubplot或numpy.ndarray。

DataFrame.hist()用例：

import pandas as pd
info = pd.DataFrame({
‘length’: [2, 1.7, 3.6, 2.4, 1], ‘width’: [4.2, 2.6, 1.6, 5.1, 2.9]
})
hist = info.hist(bins=4)

提示：
1.列标会显示在直方图上
2.bins:决定了直方的条数，默认为10条
3. 绘图之后，还需要plt.show()，或者保存
4. DataFrame.hist()返回axes 那么就可以设置子图属性啥的？

9.常用方法清单

方法	用途
pd.get_dummies()	将类别变量转换成one-hot 编码
Series.isnull()	判断系列中是否含有空值
Series.is_unique()	判断系列中是否存在重复值
Series.value_counts()	统计系列中所有取值出现的次数
DataFrame.mean()	计算行列均值
DataFrame.dropna()	删除数据缺失的行或者列
DataFrame.drop_duplicates()	删除所有重复的行或者列
DataFrame.head()	返回数据的前5行，查看数据格式
DataFrame.tail()	返回数据框的后5行，查看数据格式
df.corr()	计算各列的相关系数，参数可选项pearson,kendall,spearman

df.corr()参考博文：https://blog.csdn.net/walking_visitor/article/details/85128461

全文参考博文：https://www.pypandas.cn/docs/

小陈同学-陈百万

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
pythonLibs(6) - Pandas

Pandas 简易教程1.Pandas简介2.dataframe数据访问2.1 获取一列--列标签2.2 获取多列--列标签列表2.3 获取一行--行标签2.4 获取多行--行切片操作2.5 index 获取行列信息--df.iloc()2.6 获取一个元素2.7 布尔值选择数据3.dataframe删除操作3.1 DataFrame.drop()3.2 删除一列--del,pop4.dataframe 合并追加操作4.1 追加一行4.2 追加一列4.3 合并操作-- pd.concat()5.datafr
复制链接

扫一扫