Pandas库基础知识

最新推荐文章于 2024-09-13 08:50:19 发布
最新推荐文章于 2024-09-13 08:50:19 发布
阅读量1k 收藏 9
点赞数 6
分类专栏： python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Junming_Lu/article/details/79336878
版权

Pandas库

Pandas是Python第三方库，提供高性能易用数据类型和分析工具

import pandas as pd

Pandas基于NumPy实现，常于NumPy和Matplotlib一同使用

两个数据类型：Series, DataFrame，基于上述数据类型的各类操作，基本操作、运算操作、特征类操作、关联类操作

NumPyPandas
基础数据类型扩展数据类型
关注数据的结构表达关注数据的应用表达
维度：数据间的关系数据与索引间关系
Pandas的Series类型

Series类型由一组数据及与之相关的数据索引组成

>>> import pandas as pd
>>> a = pd.Series([9, 8, 7, 6])
>>> a
0    9
1    8
2    7
3    6
dtype: int64
>>> b = pd.Series([9, 8, 7, 6], index = ['a','b','c','d'])
>>> b
a    9
b    8
c    7
d    6
dtype: int64

Series类型可以由如下类型创建：

  • Python列表，index与列表元素个数一致
  • 标量值，index表达Series类型的尺寸
  • Python字典，键值对中的“键”是索引，index从字典中进行选择操作
  • ndarray，索引和数据都可以通过ndarray类型创建
  • 其他函数，range()函数等
从标量值创建
>>> s = pd.Series(25, index = ['a','b','c'])  #不能省略index=
>>> s
a    25
b    25
c    25
dtype: int64
从字典类型创建
>>> d = pd.Series({'a':9, 'b':8, 'c':7})
>>> d
a    9
b    8
c    7
dtype: int64
从ndarray类型创建
>>> import pandas as pd
>>> import numpy as pd
>>> n = pd.Series(np.arange(5),index = np.arange(9,4,-1))
>>> n
9    0
8    1
7    2
6    3
5    4
dtype: int32

Series类型的基本操作

Series类型包括index和value两部分

>>> import pandas as pd
>>> b = pd.Series([9, 8, 7, 6],['a', 'b', 'c', 'd'])
>>> b
a    9
b    8
c    7
d    6
dtype: int64
>>> b.index  #获得索引
Index(['a', 'b', 'c', 'd'], dtype='object')
>>> b.values #获得数据
array([9, 8, 7, 6], dtype=int64)
>>> b['b']   #自动索引和自定义索引并存
8
>>> b[1]
8
>>> b[['c', 'd', 0]]   #但不能混用
c    7.0
d    6.0
0    NaN
dtype: float64

Series类型的操作类似ndarray类型
- 索引方法相同，采用[]
- NumPy中运算和操作可用于Series类型
- 可以通过自定义索引的列表进行切片
- 可以通过自动索引进行切片，如果存在自定义索引，则一同被切片

>>> import pandas as pd
>>> b = pd.Series([9, 8, 7, 6],['a', 'b', 'c', 'd'])
>>> b
a    9
b    8
c    7
d    6
dtype: int64
>>> b[:3]
a    9
b    8
c    7
dtype: int64
>>> b[b > b.median()]
a    9
b    8
dtype: int64

Series类型的操作类似Python字典类型
- 通过自定义索引访问
- 保留字in操作
- 使用.get()方法

>>> 'c' in b
True
>>> 0 in b
False

Series类型对齐操作

Series类型在运算中会自动对齐不同索引的数据

>>> import pandas as pd
>>> b = pd.Series([9, 8, 7, 6],['a', 'b', 'c', 'd'])
>>> a = pd.Series([1, 2, 3],['c', 'd', 'e'])
>>> a + b
a    NaN
b    NaN
c    8.0
d    8.0
e    NaN
dtype: float64

Series类型的name属性

Series对象和索引都可以有一个名字，存储在属性.name中

>>> b = pd.Series([9, 8, 7, 6],['a', 'b', 'c', 'd'])
>>> b.name = 'Series对象'
>>> b.index.name = '索引列'
>>> b
索引列
a    9
b    8
c    7
d    6
Name: Series对象, dtype: int64
DataFrame类型
  • DataFrame类型由共用相同索引的一组列组成
  • DataFrame是一个表格型的数据类型，每列值类型可以不同
  • DataFrame既有行索引(index)，也有列索引(column)
  • DataFrame常用语表达二维数据，但也可以表达多维数据
  • DataFrame是二维带‘标签’的数组

从二维ndarray对象创建

import pandas as pd

import numpy as np

d = pd.DataFrame(np.arange(10).reshape(2,5))

d
Out[4]: 
   0  1  2  3  4
0  0  1  2  3  4
1  5  6  7  8  9

从一维ndarray对象字典创建

dt = {'one': pd.Series([1, 2, 3],index=['a','b','c']),
      'two': pd.Series([9, 8, 7 ,6], index = ['a', 'b', 'c', 'd'])}

d = pd.DataFrame(dt)

d
Out[8]: 
   one  two
a  1.0    9
b  2.0    8
c  3.0    7
d  NaN    6

从列表类型的字典创建

dl = {'one': [1,2,3,4], 'two': [9,8,7,6]}

d = pd.DataFrame(dl, inde = ['a','b','c','d'])

d = pd.DataFrame(dl, index = ['a','b','c','d'])

d
Out[12]: 
   one  two
a    1    9
b    2    8
c    3    7
d    4    6
Pandas库的数据类型操作

如何改变Series和DataFrame对象

增加或重排：重新索引

重新索引：.reindex()能够改变或重排Series和DataFrame索引

.reindex的参数说明
index,columns新的行列自定义索引
fill_value重新索引中，用于填充缺失位置的值
method填充方法，ffill当前值向前填充，bfill向后填充
limit最大填充量
copy默认True，生成新的对象，False时，新旧相等不复制

索引类型的常用方法

方法说明
.append(idx)连接另一个Index对象，产生新的Index对象
.diff(idx)计算差集，产生新的Index对象
.itersection(idx)计算交集
.union(idx)计算并集
.delete(loc)删除loc位置处的元素
.insert(loc,e)在loc位置增加一个元素e

删除指定索引对象：.drop()能够删除Series和DataFrame指定行或列索引

>>> a = pd.Series([9,8,7,6], index = ['a', 'b', 'c', 'd'])
>>> a
a    9
b    8
c    7
d    6
dtype: int64
>>> a.drop(['b', 'c'])
a    9
d    6
dtype: int64
Pandas库的数据类型运算

算术运算法则：

  • 根据行列索引，补齐后运算，运算默认产生浮点数
  • 补齐时缺项填充NaN(空值)
  • 二维和一维、一维和零维空间广播运算
  • 采用+ - * / 符号进行的二维运算产生新的对象
a = pd.DataFrame(np.arange(12).reshape(3,4))

a
Out[14]: 
   0  1   2   3
0  0  1   2   3
1  4  5   6   7
2  8  9  10  11

b = pd.DataFrame(np.arange(20).reshape(4,5))

b
Out[16]: 
    0   1   2   3   4
0   0   1   2   3   4
1   5   6   7   8   9
2  10  11  12  13  14
3  15  16  17  18  19

a + b
Out[17]: 
      0     1     2     3   4
0   0.0   2.0   4.0   6.0 NaN
1   9.0  11.0  13.0  15.0 NaN
2  18.0  20.0  22.0  24.0 NaN
3   NaN   NaN   NaN   NaN NaN

a * b
Out[18]: 
      0     1      2      3   4
0   0.0   1.0    4.0    9.0 NaN
1  20.0  30.0   42.0   56.0 NaN
2  80.0  99.0  120.0  143.0 NaN
3   NaN   NaN    NaN    NaN NaN

方法形式的运算

方法说明
.add(d, **argws)类型间加法运算，可选参数
.sub(d, **argws)类型间减法运算，可选参数
.mul(d, **argws)类型间乘法运算，可选参数
.div(d, **argws)类型间除法运算，可选参数
a = pd.DataFrame(np.arange(12).reshape(3,4))

a
Out[14]: 
   0  1   2   3
0  0  1   2   3
1  4  5   6   7
2  8  9  10  11
b = pd.DataFrame(np.arange(20).reshape(4,5))

b
Out[16]: 
    0   1   2   3   4
0   0   1   2   3   4
1   5   6   7   8   9
2  10  11  12  13  14
3  15  16  17  18  19
b.add(a, fill_value = 100)
Out[19]: 
       0      1      2      3      4
0    0.0    2.0    4.0    6.0  104.0
1    9.0   11.0   13.0   15.0  109.0
2   18.0   20.0   22.0   24.0  114.0
3  115.0  116.0  117.0  118.0  119.0
a.mul(b, fill_value = 0)
Out[20]: 
      0     1      2      3    4
0   0.0   1.0    4.0    9.0  0.0
1  20.0  30.0   42.0   56.0  0.0
2  80.0  99.0  120.0  143.0  0.0
3   0.0   0.0    0.0    0.0  0.0
c = pd.Series(np.arange(4))

c
Out[23]: 
0    0
1    1
2    2
3    3
dtype: int32

b.sub(c, axis = 0)
Out[22]: 
    0   1   2   3   4
0   0   1   2   3   4
1   4   5   6   7   8
2   8   9  10  11  12
3  12  13  14  15  16

比较运算法则

  • 比较运算只能比较相同索引的元素，不能进行补齐
  • 二维和一维、一维和零维间为广播运算
  • 采用 > < >= <= == !=等符号进行的二元运算产生布尔对象
a = pd.DataFrame(np.arange(12).reshape(3,4))

a
Out[14]: 
   0  1   2   3
0  0  1   2   3
1  4  5   6   7
2  8  9  10  11

d = pd.DataFrame(np.arange(12, 0, -1).reshape(3,4))

d
Out[25]: 
    0   1   2  3
0  12  11  10  9
1   8   7   6  5
2   4   3   2  1

a > d
Out[26]: 
       0      1      2      3
0  False  False  False  False
1  False  False  False   True
2   True   True   True   True
数据的排序
  • 基本统计（含排序）
  • 分布/累计统计
  • 数据特征、相关性、周期性
  • 数据挖掘（形成知识）
Pandas库的数据排序

.sort_index()方法在指定轴上根据索引进行排序，默认升序

sort,index(axis = 0, ascending = True)

import pandas as pd

import numpy as np

b = pd.DataFrame(np.arange(20).reshape(4,5),index = ['c','a','d','b'])

b
Out[4]: 
    0   1   2   3   4
c   0   1   2   3   4
a   5   6   7   8   9
d  10  11  12  13  14
b  15  16  17  18  19

b.sort_index()
Out[5]: 
    0   1   2   3   4
a   5   6   7   8   9
b  15  16  17  18  19
c   0   1   2   3   4
d  10  11  12  13  14

b.sort_index(ascending = False)
Out[7]: 
    0   1   2   3   4
d  10  11  12  13  14
c   0   1   2   3   4
b  15  16  17  18  19
a   5   6   7   8   9

b.sort_index(axis = 1,ascending = False)
Out[8]: 
    4   3   2   1   0
c   4   3   2   1   0
a   9   8   7   6   5
d  14  13  12  11  10
b  19  18  17  16  15

.sort_values()方法在指定轴上根据数值进行排序，默认升序

Series.sort_values(axis = 0, ascending = True)

DataFrame.sort_values(by, axis = 0, ascending = True) #by：axis轴上的某个索引或索引列表

b = pd.DataFrame(np.arange(20).reshape(4,5),index = ['c','a','d','b'])

b
Out[4]: 
    0   1   2   3   4
c   0   1   2   3   4
a   5   6   7   8   9
d  10  11  12  13  14
b  15  16  17  18  19

c = b.sort_values(2, ascending = False)

c
Out[10]: 
    0   1   2   3   4
b  15  16  17  18  19
d  10  11  12  13  14
a   5   6   7   8   9
c   0   1   2   3   4

c = c.sort_values('a', axis = 1,ascending = False)

c
Out[13]: 
    4   3   2   1   0
b  19  18  17  16  15
d  14  13  12  11  10
a   9   8   7   6   5
c   4   3   2   1   0
数据的基本统计分析

适用于Series和DataFrame类型

方法说明
.sum()计算数据的总和，按0轴计算，下同
.count()非NaN值的数量
.mean() .median()计算数据的算术平均值、算术中位数
.var() .std()计算数据的方差、标准差
.min() .max()计算数据的最小值、最大值
.describe()针对0轴（各列）的统计汇总
a = pd.Series([9, 8, 7, 6], index = ['a','b','c','d'])

a
Out[15]: 
a    9
b    8
c    7
d    6
dtype: int64

a.describe()
Out[16]: 
count    4.000000
mean     7.500000
std      1.290994
min      6.000000
25%      6.750000
50%      7.500000
75%      8.250000
max      9.000000
dtype: float64

b = pd.DataFrame(np.arange(20).reshape(4,5),index = ['c','a','d','b'])

b.describe()
Out[17]: 
               0          1          2          3          4
count   4.000000   4.000000   4.000000   4.000000   4.000000
mean    7.500000   8.500000   9.500000  10.500000  11.500000
std     6.454972   6.454972   6.454972   6.454972   6.454972
min     0.000000   1.000000   2.000000   3.000000   4.000000
25%     3.750000   4.750000   5.750000   6.750000   7.750000
50%     7.500000   8.500000   9.500000  10.500000  11.500000
75%    11.250000  12.250000  13.250000  14.250000  15.250000
max    15.000000  16.000000  17.000000  18.000000  19.000000

b.describe()[2]
Out[19]: 
count     4.000000
mean      9.500000
std       6.454972
min       2.000000
25%       5.750000
50%       9.500000
75%      13.250000
max      17.000000
Name: 2, dtype: float64

适用于Series类型

方法说明
.argmin() .argmax()计算数据最大值、最小值所在位置的索引位置（自动索引）
.idxmin() .idxmax()计算数据最大值、最小值所在位置的索引（自定义索引）
数据的累计统计分析

适用于Series和DataFrame类型

方法函数
.cumsum()依次给出前1、2、…、n个数的和
.cumprod()依次给出前1、2、…、n个数的积
.cummax()依次给出前1、2、…、n个数的最大值
.cummin()依次给出前1、2、…、n个数的最小值
b = pd.DataFrame(np.arange(20).reshape(4,5),index = ['c','a','d','b'])

b
Out[4]: 
    0   1   2   3   4
c   0   1   2   3   4
a   5   6   7   8   9
d  10  11  12  13  14
b  15  16  17  18  19

b.cumsum()
Out[20]: 
    0   1   2   3   4
c   0   1   2   3   4
a   5   7   9  11  13
d  15  18  21  24  27
b  30  34  38  42  46

b.cumprod()
Out[21]: 
   0     1     2     3     4
c  0     1     2     3     4
a  0     6    14    24    36
d  0    66   168   312   504
b  0  1056  2856  5616  9576

适用于Series和DataFrame类型，滚动计算（窗口计算）

方法说明
.rolling(w).sum()依次计算相邻w个元素的和
.rolling(w).mean()依次计算相邻w个元素的算术平均值
.rolling(w).var()依次计算相邻w个元素的方差
.rolling(w).std()依次计算相邻w个元素的标准差
.rolling(w).min() .max()依次计算相邻w个元素的最小值和最大值
b = pd.DataFrame(np.arange(20).reshape(4,5),index = ['c','a','d','b'])

b
Out[4]: 
    0   1   2   3   4
c   0   1   2   3   4
a   5   6   7   8   9
d  10  11  12  13  14
b  15  16  17  18  19

b.rolling(2).sum()
Out[22]: 
      0     1     2     3     4
c   NaN   NaN   NaN   NaN   NaN
a   5.0   7.0   9.0  11.0  13.0
d  15.0  17.0  19.0  21.0  23.0
b  25.0  27.0  29.0  31.0  33.0
数据的相关分析
  • X增大，Y增大，两个变量正相关，协方差 > 0
  • X增大，Y减小，两个变量负相关，协方差 < 0
  • X增大，Y无视，两个变量不相关，协方差 = 0

适用于Series和DataFrame类型

方法函数
.cov()计算协方差矩阵
.corr()计算相关系数矩阵，Pearson、Spearman、Kendall系数
Junming_Lu
关注
专栏目录
Pandas库的基础内容
m0_62907411的博客
03-06 419
· 数据结构分析 · 索引操作及高级索引 · 数据排序 · 统计计算与描述 · 层次化索引 · 读写数据操作
Python学习：Pandas库基础知识
qq_37333048的博客
11-30 1758
总结完了numpy库的基础知识，当然不能少了Pandas库，pd库是基于numpy的，它有两种数据形式：Series和Dataframe。这篇文章总结的都是对Dataframe格式的数据进行操作。Series的操作和对ndarray格式的操作很像，可以参照numpy的处理方法。 它们的不同有一个博主写的很好：Series和Dataframe的不同。 我的numpy库基础知识总结：numpy库 1. Pandas的数据基本操作 1.1 查看数据的基本信息 pandas一般用来读取某些表格，并对其中的数据进行处
pandas库基础操作
最新发布
2302_81096429的博客
09-13 2151
https://i-blog.csdnimg.cn/direct/cb9976308aa64b50a09393987aadbdb6.png
python基础2
影龙武的博客qq_43594119
04-25 294
python基础2 #!/usr/bin/env python # coding: utf-8 # # 深度学习常用Python库 # # [返回目录](https://aistudio.baidu.com/aistudio/projectdetail/496863) # # # * #### Numpy库 # * #### Pandas库 # * #### Matplotlib库 # * #### PIL库 # <br/> # # Python被大量应用在数据挖掘和深度学习领域，其
[Python数据分析] pandas库基础
dSAAFAD的博客
10-02 709
pandas库是一个基于numpy、专门为数据分析而设计的库,该库不仅提供了大量模块及一些标准的数据模型,而且提供了高效操作数据集的数据结构,被广泛地应用到众多领域中. 1.Series # Series类对象的结构类似一维数组,主要由数据和索引组成,数据可以是任意类型 # pandas.Series(data(传入数据)=None, index(传入索引)=None, dtype(数据类型)=None, name(Series类对象名称)=None, copy(复制数据)=False) imp
Pandas基础知识
weixin_44002014的博客
09-03 2541
本篇内容为笔者学习pandas库时在网上搜集、整理的信息，主要目的在于帮助和我一样的初学者更为方便地找到详细且通俗易懂的pandas资料。所有内容均来源于网络，如有错误之处欢迎评论、留言讨论，笔者会及时修改错误。如有侵权烦请联系笔者删除，谢谢！
Pandas库基础知识（一）
热门推荐
-
04-05 3万+
1 Series 数据结构 1.1 Series 介绍 Series 是一种类似于一维数组的对象，由一组数据和一组数据标签（索引值）组成。 1.2 Series 的操作 1.2.1 创建Series对象 通过Series()方法创建对象，也可以直接将列表、字典等序列类型转换成Series数据 import pandas as pd s1=pd.Series(["a","b","c","d","e","f"]) s2=pd.Series([1,2,3,4,5,6],index=["a","b","c","d
数据分析一、 pandas库基础知识
随风的博客
08-01 5953
一、jupyter 代码编辑器 Cell [sel] 细胞 jupyter 代码编辑器的一个代码单元，一般叫它 Cell。 Cell 是这款 jupyter 代码编辑器的主要构成要素。 代码的输入以及代码结果的输出都是在 Cell 中实现的。 Cell 一共由两个部分组成：In[] 和 Out[]，即输入框和输出框。 Cell 在使用时有两个很重要的特点，第一点体现在查看变量的时候，第二点体现在变量值的传递上。查看变量值的时候，只要输入变量名就可以了。 jupyter 代码编辑器第二个特点：当前的 Ce
pandas库学习报告.docx
04-11
### pandas库学习报告 #### 一、pandas简介 pandas 是一个强大的 Python 库，专为数据分析设计。它建立在 NumPy 基础之上，提供了一系列高级数据结构和数据分析工具，使得处理数据变得更加简单高效。pandas 的核心...
Pandas基础知识入门
12-21
Pandas 是一个强大的数据分析库，它是基于 Numpy 构建的，提供了更加高级的数据结构和工具，使得数据处理变得更加高效和便捷。Pandas 的核心数据结构主要包括 Series 和 DataFrame。 Series 类似于一维数组，它由一...
pandas库入门基础
YY_6666_的博客
03-25 1939
pandas库入门基础 一。 pandas是python的第三方库，能提供高性能易用数据分析类型和分析工具。 pandas库中含有Series类型和DataFrame类型（一定要注意大小写，）。 import pandas as pd 为导入库，可以使用Anaconda软件来编写代码，具体下载请自行从网上查找。pandas库由索引和数据组成，分为一维 ，二维，以及多维数据。 二:Series（注意大小写） Series库由索引和一组数据组成 而DataFrame由索引和多组数据组成 Series数据类型
Pandas库的基础入门（二）
maligebilaowang的博客
11-23 1056
!承接上文：Pandas库的基础入门（一） 前文链接 Pandas库的基础入门（一） 四、Pandas入门常用 基于Pandas的缺失值处理方法 重建索引，重构数据帧 #读入大车的单车源强数据 df = pd.read_excel('C:/Users/13109/desktop/单车源强数据2.xlsx','大车',na_vlues=['NA']) # #重建横坐标索引 df.index ...
【Pandas】Pandas基础知识汇总
好记性不如烂笔头
12-14 1435
用于数据分析、数据处理和数据可视化。
pandas基础知识(Series)
正心全栈编程
07-13 285
import pandas as pd import numpy as np Series s = pd.Series([12, -4, 7, 7]) s 0 12 1 -4 2 7 3 7 dtype: int64 设置索引 s = pd.Series([12, -4, 7, 7], index=['a', 'b', 'c', 'd']) ...
Pandas 基础知识与语法
2401_86085148的博客
07-21 776
二维数据结构，相当与表格。主体分数据和索引两部分。数据以==行(index)列(Column)==的表格方式排列.
pandas 库 系列知识点
spire_di
08-10 431
在数据分析工作中，Pandas 的使用频率是很高的，一方面是因为 Pandas 提供的基础数据结构 DataFrame 与 json 的契合度很高，转换起来就很方便。另一方面，如果我们日常的数据清理工作不是很复杂的话，你通常用几句 Pandas 代码就可以对数据进行规整。 pandas中有Series 和 DataFrame 这两个核心数据结构，他们分别代表着一维的序列和二维的表结构。基于这两种数据结构，Pandas 可以对数据进行导入、清洗、处理、统计和输出。 数据结构：Series 和 DataFram
【基础知识】pandas入门
Bsienwuw的博客
05-10 642
两种：一维数组型的Series对象+二维表格型的DataFrame对象 目录 一、Series对象 1、Series对象创建（4种） （1）Numpy的一维ndarray数组 （2）标量值创建 （3）字典创建 （4）列表创建 2、Series对象的基本运算 3、基本功能 二、DataFrame对象 1、DataFrame对象创建 （1）字典 （2）嵌套列表 （3）字典 2、DateFrame对象属性 2、DataFrame基本运算 （1）数据筛选 （2）数据预处理 ..
Pandas库
xueyinglys的博客
02-09 3397
1、掌握DataFrame数据结构的创建和基本性质。 2、掌握Pandas库的数值运算和统计分析方法。 3、掌握DataFrame缺失值处理、数据集合并等操作。 4、掌握DataFrame累计与分组操作。 5、用eval和query实现更高效的计算。 numpy的表现已经很好了，但是当我们需要处理更灵活的数据任务的时候(如为数据添加标签、 处理缺失值、分组等)，numpy 的限制就非常明显了，基......
Python Pandas库文件下载指南
资源摘要信息:"pandas-0.10.1.win-amd64-py3.2.exe是pandas库的一个安装文件版本，适用于Windows 64位系统和Python 3.2版本。" 知识点详细说明： 1. pandas库介绍：pandas是一个开源的Python数据分析库，它提供了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值