pandas简单教程

最新推荐文章于 2021-12-21 15:50:22 发布
最新推荐文章于 2021-12-21 15:50:22 发布
阅读量212 收藏
点赞数
分类专栏： 工具 文章标签： pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41837900/article/details/97258772
版权 
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

对象创建

通过传入一些值的列表来创建一个Series， Pandas会自动创建一个默认的整数索引：

s = pd.Series([1,3,5,np.nan,6,8])
s

0    1.0
1    3.0
2    5.0
3    NaN
4    6.0
5    8.0
dtype: float64

通过传递带有日期时间索引和带标签列的NumPy数组来创建DataFrame：

dates = pd.date_range('20130101',periods=6)
dates
df = pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD'))
df
ABCD
2013-01-01-0.8289480.2817650.8036920.030016
2013-01-020.4182121.5375280.4077420.625449
2013-01-030.746757-0.338140-0.734583-2.377116
2013-01-04-0.507705-0.409561-2.5962860.464993
2013-01-05-0.154101-0.675057-0.747016-0.192082
2013-01-060.892789-1.8483130.8974340.157656

通过传递可以转化为类似Series的dict对象来创建DataFrame:

df2 = pd.DataFrame({ 'A' : 1.,
                    'B' : pd.Timestamp('20130102'),
                    'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
                    'D' : np.array([3] * 4,dtype='int32'),
                     'E' : pd.Categorical(["test","train","test","train"]),
                     'F' : 'foo' })
df2
ABCDEF
01.02013-01-021.03testfoo
11.02013-01-021.03trainfoo
21.02013-01-021.03testfoo
31.02013-01-021.03trainfoo
df2.dtypes

A           float64
B    datetime64[ns]
C           float32
D             int32
E          category
F            object
dtype: object

查看数据

df.head()
ABCD
2013-01-01-0.8289480.2817650.8036920.030016
2013-01-020.4182121.5375280.4077420.625449
2013-01-030.746757-0.338140-0.734583-2.377116
2013-01-04-0.507705-0.409561-2.5962860.464993
2013-01-05-0.154101-0.675057-0.747016-0.192082
df.tail(2)
ABCD
2013-01-05-0.154101-0.675057-0.747016-0.192082
2013-01-060.892789-1.8483130.8974340.157656

显示索引、列和底层NumPy数据：

df.index


DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
               '2013-01-05', '2013-01-06'],
              dtype='datetime64[ns]', freq='D')

df.columns

Index(['A', 'B', 'C', 'D'], dtype='object')

df.values

array([[-0.82894761,  0.28176527,  0.80369199,  0.03001636],
       [ 0.41821203,  1.53752828,  0.40774162,  0.62544912],
       [ 0.74675688, -0.33814015, -0.73458287, -2.3771161 ],
       [-0.5077046 , -0.4095612 , -2.59628619,  0.46499331],
       [-0.15410053, -0.67505665, -0.74701636, -0.19208195],
       [ 0.89278944, -1.84831322,  0.8974336 ,  0.15765575]])

df.describe()#显示数据的快速统计摘要
ABCD
count6.0000006.0000006.0000006.000000
mean0.094501-0.241963-0.328170-0.215181
std0.6992431.1176901.3273841.099356
min-0.828948-1.848313-2.596286-2.377116
25%-0.419304-0.608683-0.743908-0.136557
50%0.132056-0.373851-0.1634210.093836
75%0.6646210.1267890.7047040.388159
max0.8927891.5375280.8974340.625449
df.T
2013-01-01 00:00:002013-01-02 00:00:002013-01-03 00:00:002013-01-04 00:00:002013-01-05 00:00:002013-01-06 00:00:00
A-0.8289480.4182120.746757-0.507705-0.1541010.892789
B0.2817651.537528-0.338140-0.409561-0.675057-1.848313
C0.8036920.407742-0.734583-2.596286-0.7470160.897434
D0.0300160.625449-2.3771160.464993-0.1920820.157656
print( df.sort_index(axis=1, ascending=False))
print( df.sort_index(axis=0, ascending=False))
print( df.sort_index(axis=1, ascending=True))
print( df.sort_index(axis=0, ascending=True))

                   D         C         B         A
2013-01-01  0.030016  0.803692  0.281765 -0.828948
2013-01-02  0.625449  0.407742  1.537528  0.418212
2013-01-03 -2.377116 -0.734583 -0.338140  0.746757
2013-01-04  0.464993 -2.596286 -0.409561 -0.507705
2013-01-05 -0.192082 -0.747016 -0.675057 -0.154101
2013-01-06  0.157656  0.897434 -1.848313  0.892789
                   A         B         C         D
2013-01-06  0.892789 -1.848313  0.897434  0.157656
2013-01-05 -0.154101 -0.675057 -0.747016 -0.192082
2013-01-04 -0.507705 -0.409561 -2.596286  0.464993
2013-01-03  0.746757 -0.338140 -0.734583 -2.377116
2013-01-02  0.418212  1.537528  0.407742  0.625449
2013-01-01 -0.828948  0.281765  0.803692  0.030016
                   A         B         C         D
2013-01-01 -0.828948  0.281765  0.803692  0.030016
2013-01-02  0.418212  1.537528  0.407742  0.625449
2013-01-03  0.746757 -0.338140 -0.734583 -2.377116
2013-01-04 -0.507705 -0.409561 -2.596286  0.464993
2013-01-05 -0.154101 -0.675057 -0.747016 -0.192082
2013-01-06  0.892789 -1.848313  0.897434  0.157656
                   A         B         C         D
2013-01-01 -0.828948  0.281765  0.803692  0.030016
2013-01-02  0.418212  1.537528  0.407742  0.625449
2013-01-03  0.746757 -0.338140 -0.734583 -2.377116
2013-01-04 -0.507705 -0.409561 -2.596286  0.464993
2013-01-05 -0.154101 -0.675057 -0.747016 -0.192082
2013-01-06  0.892789 -1.848313  0.897434  0.157656

 df.sort_values(by='B')#按值排序
ABCD
2013-01-060.892789-1.8483130.8974340.157656
2013-01-05-0.154101-0.675057-0.747016-0.192082
2013-01-04-0.507705-0.409561-2.5962860.464993
2013-01-030.746757-0.338140-0.734583-2.377116
2013-01-01-0.8289480.2817650.8036920.030016
2013-01-020.4182121.5375280.4077420.625449

选择

df['A']#选择一个列，产生一个“Series”，相当于“df.A”

2013-01-01   -0.828948
2013-01-02    0.418212
2013-01-03    0.746757
2013-01-04   -0.507705
2013-01-05   -0.154101
2013-01-06    0.892789
Freq: D, Name: A, dtype: float64

df[0:3]#通过[ ]选择，对行进行切片
ABCD
2013-01-01-0.8289480.2817650.8036920.030016
2013-01-020.4182121.5375280.4077420.625449
2013-01-030.746757-0.338140-0.734583-2.377116
df['20130102':'20130104']
ABCD
2013-01-020.4182121.5375280.4077420.625449
2013-01-030.746757-0.338140-0.734583-2.377116
2013-01-04-0.507705-0.409561-2.5962860.464993
 df.loc[dates[0]]#通过标签获取一行数据

A   -0.828948
B    0.281765
C    0.803692
D    0.030016
Name: 2013-01-01 00:00:00, dtype: float64

 df.loc['20130102':'20130104',['A','B']]
AB
2013-01-020.4182121.537528
2013-01-030.746757-0.338140
2013-01-04-0.507705-0.409561
 df.loc['20130102',['A','B']]#减小返回对象的大小

A    0.418212
B    1.537528
Name: 2013-01-02 00:00:00, dtype: float64

 df.at[dates[0],'A']#获取标量值：

-0.8289476073976824

 df.at[dates[0],'A']#快速访问标量

-0.8289476073976824

df.iloc[3]#通过传递的整数的位置选择

A   -0.507705
B   -0.409561
C   -2.596286
D    0.464993
Name: 2013-01-04 00:00:00, dtype: float64

df.iloc[3:5,0:2]#通过整数切片
AB
2013-01-04-0.507705-0.409561
2013-01-05-0.154101-0.675057
df.iloc[[1,2,4],[0,2]]#通过传递整数的列表按位置切片
AC
2013-01-020.4182120.407742
2013-01-030.746757-0.734583
2013-01-05-0.154101-0.747016
 df.iloc[1,1]#获取具体值

1.5375282822642125

布尔索引

df[df.A > 0]
ABCD
2013-01-020.4182121.5375280.4077420.625449
2013-01-030.746757-0.338140-0.734583-2.377116
2013-01-060.892789-1.8483130.8974340.157656
df[df > 0]
ABCD
2013-01-01NaN0.2817650.8036920.030016
2013-01-020.4182121.5375280.4077420.625449
2013-01-030.746757NaNNaNNaN
2013-01-04NaNNaNNaN0.464993
2013-01-05NaNNaNNaNNaN
2013-01-060.892789NaN0.8974340.157656

赋值

s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6))
#添加新列将自动根据索引对齐数据
s1


2013-01-02    1
2013-01-03    2
2013-01-04    3
2013-01-05    4
2013-01-06    5
2013-01-07    6
Freq: D, dtype: int64

df['F'] = s1
df.at[dates[0],'A'] = 0#通过标签赋值
df.iat[0,1] = 0#通过位置赋值
df.loc[:,'D'] = np.array([5] * len(df))
df
ABCDF
2013-01-010.0000000.0000000.8036925NaN
2013-01-020.4182121.5375280.40774251.0
2013-01-030.746757-0.338140-0.73458352.0
2013-01-04-0.507705-0.409561-2.59628653.0
2013-01-05-0.154101-0.675057-0.74701654.0
2013-01-060.892789-1.8483130.89743455.0
df2 = df.copy()
df2[df2 > 0] = -df2
df2
ABCDF
2013-01-010.0000000.000000-0.803692-5NaN
2013-01-02-0.418212-1.537528-0.407742-5-1.0
2013-01-03-0.746757-0.338140-0.734583-5-2.0
2013-01-04-0.507705-0.409561-2.596286-5-3.0
2013-01-05-0.154101-0.675057-0.747016-5-4.0
2013-01-06-0.892789-1.848313-0.897434-5-5.0

插入

df.loc['new']=[1,2,3,4,5]
df
ABCDF
2013-01-01 00:00:000.0000000.0000000.8036925NaN
2013-01-02 00:00:000.4182121.5375280.40774251.0
2013-01-03 00:00:000.746757-0.338140-0.73458352.0
2013-01-04 00:00:00-0.507705-0.409561-2.59628653.0
2013-01-05 00:00:00-0.154101-0.675057-0.74701654.0
2013-01-06 00:00:000.892789-1.8483130.89743455.0
new1.0000002.0000003.00000045.0
df3=pd.DataFrame([6,6,6,6,6]).T

# 修改df4的column和df3的一致
df3.columns = df.columns
# 把两个dataframe合并，需要设置 ignore_index=True
df_new = pd.concat([df,df3],ignore_index=True)
df_new
ABCDF
00.0000000.0000000.8036925NaN
10.4182121.5375280.40774251.0
20.746757-0.338140-0.73458352.0
3-0.507705-0.409561-2.59628653.0
4-0.154101-0.675057-0.74701654.0
50.892789-1.8483130.89743455.0
61.0000002.0000003.00000045.0
76.0000006.0000006.00000066.0

统计

df.mean()#平均值

A    0.342279
B    0.038065
C    0.147283
D    4.857143
F    3.333333
dtype: float64

df.mean(1)

2013-01-01 00:00:00    1.450923
2013-01-02 00:00:00    1.672696
2013-01-03 00:00:00    1.334807
2013-01-04 00:00:00    0.897290
2013-01-05 00:00:00    1.484765
2013-01-06 00:00:00    1.988382
new                    3.000000
dtype: float64

df.sum()

A     2.395953
B     0.266457
C     1.030982
D    34.000000
F    20.000000
dtype: float64

df.sum(1)

2013-01-01 00:00:00     5.803692
2013-01-02 00:00:00     8.363482
2013-01-03 00:00:00     6.674034
2013-01-04 00:00:00     4.486448
2013-01-05 00:00:00     7.423826
2013-01-06 00:00:00     9.941910
new                    15.000000
dtype: float64

df.var()#f方差

A    0.331841
B    1.751315
C    3.050677
D    0.142857
F    2.666667
dtype: float64

df.std()#标准差

df.corr()#相关系数

df.cov()#协方差

df.describe()#基本情况

统计作图

import matplotlib.pyplot as plt #导入作图库
plt.rcParams['font.sans-serif'] = ['SimHei']#用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False#正常显示负号
plt.figure(figsize = (7,5))#创建作图区域,指定比例

<matplotlib.figure.Figure at 0x229f4e7ee10>

plt.plot(x, y, s)

这是 Matplotlib通用的绘图方式,绘制y对于x(即以x为横轴的二维图形),字符串参量S指定绘制时图形的类型、样式和颜色,常用的选项有:'b’为蓝色、'r’为红色、'g’为绿色、‘o’为圆圈、’+‘为加号标记、’-‘为实线、’–'为虚线。当x、y均为实数同维向量时,则描出点(x(i),y(i)),然后用直线依次相连。

plt.plot(kind=box)

这里使用的是 DataFrame或 Series对象内置的方法作图,默认以 Index为横坐标,每列数据为纵坐标自动作图,通过kind参数指定作图类型,支持line(线)、bar(条形)barh、hist(直方图)、box(箱线图)、kde(密度图)和area、pie(饼图)等,同时也能够接受 plt.plot()中接受的参数。因此,如果数据已经被加载为 Pandas中的对象,那么以这种方式作图是比较简洁的。

x=np.linspace(0,2*np.pi,50) #x坐标
y=np.sin(x)#
plt.plot(x,y,'bp--')
plt.show()

在这里插入图片描述

plt.pie(size)

使用Matplotlib绘制饼图,其中size是一个列表,记录各个扇形的比例。pie有丰富的参数.

import matplotlib.pyplot as plt
# The slices will be ordered and plotted counter-clockwise.
labels= 'Frogs', 'Hogs','Dogs', 'Logs' #定义标签
sizes= [15, 30, 45, 10] #每一块的比例
colors=['yellowgreen', 'gold', 'lightskyblue', 'lightcoral'] #每一块的颜色
explode= (0, 0.1, 0, 0) #突出显示,这里仅仅突出显示第二块(即,Hogs' )
plt.pie (sizes, explode=explode, labels=labels, colors=colors, autopct='%1.1f%%',
shadow=True, startangle=90)
plt.axis ('equal') #显示为圆(避免比例压缩为椭圆)
plt.show()

在这里插入图片描述

lkinga
关注
专栏目录
Pandas 常用函数测试
Scarlett的博客
03-10 1970
#pandas 基本介绍 # numpy 和 pandas 不同点: # pandas 更像字典形式的numpy import pandas as pd import numpy as np s = pd.Series([1,3,4,np.nan,44,1]) print s dates = pd.date_range('20160101',periods = 6) print dates d...
pandas基础使用教程.pdf
最新发布
05-10
### pandas基础使用教程知识点概述 #### 1. pandas.Series `pandas.Series` 是一个一维数组对象，它能够保存任何数据类型（整型、字符串、浮点型等）。一个 `Series` 可以被看作是具有统一类型的数据数组，并且带有...
最全最简单的pandas入门教程（精简版）
MIss-Y的博客
12-19 1036
python进阶教程机器学习深度学习长按二维码关注进入正文pandas基础教程目录一 DataFrame 1.1 创建Series 1.2 创建时间序列 1....
Pandas简要教程
我是一只小嵩鼠
12-21 526
Pandas是Python的一个用于数据分析的模块
Pandas笔记
大胃德的算法小屋
07-19 413
创建数据 随机数据 创建一个Series，pandas可以生成一个默认的索引 s = pd.Series([1,3,5,np.nan,6,8]) 通过numpy创建DataFrame，包含一个日期索引，以及标记的列 dates = pd.date_range('20170101', periods=6) df = pd.DataFrame(np.random.randn(6,...
pandas中Timestamp类用法讲解
张康的博客
06-19 4616
pandas中Timestamp类用法讲解 由于网上关于Timestamp类的资料比较少，而且官网上面介绍的很模糊，本文只是对如何创建Timestamp类对象进行简要介绍，详情请读者自行查阅文档。 以下有两种方式可以创建一个Timestamp对象： 1. Timestamp()的构造方法 import pan...
10分钟pandas教程
04-07
Python是一门开源编程语言，使用起来非常方便，但同时也存在一些开源语言固有的...这是一篇pandas入门指南，作者用通俗易懂的语言和简单的示例代码向我们展示了pandas的概况及一些进阶操作，感兴趣的就一起下载了解一下
python数据分析pandas快速入门教程.pdf
06-05
标题所涉及的知识点为：Python数据分析pandas快速入门教程。这部分内容主要是介绍如何使用Python语言及其扩展库pandas进行数据分析的学习教程。 描述中的知识点为：python数据分析pandas快速入门教程，电子版书籍，...
Python数据分析神器——pandas（进阶教程）
12-21
**Python数据分析神器——pandas（进阶教程）** 在Python数据分析领域，pandas库是不可或缺的工具，尤其在处理和操作数据集时表现卓越。本文将深入探讨pandas的一些高级特性，包括数据合并、索引合并、轴向连接、...
pandas官方文档中文版_python教程_pandas中文API_pandas中文_
10-02
这些功能使得在不同数据集间进行复杂的数据整合变得简单。 **5. 时间序列分析** Pandas内置了对时间序列数据的良好支持。时间索引（`DatetimeIndex`）允许快速访问和操作时间数据，`resample()`函数用于对时间序列...
非常全面的Pandas入门教程
weixin_44489066的博客
04-24 5万+
pandas是基于NumPy的一种数据分析工具，在机器学习任务中，我们首先需要对数据进行清洗和编辑等工作，pandas库大大简化了我们的工作量，熟练并掌握pandas常规用法是正确构建机器学习模型的第一步。 目录 如何安装pandas 如何导入pandas库和查询相应的版本信息 pandas数据类型 series教程 dataframe教程 小结 1. 如何安装Pandas 最常用的方法是通过...
pandas用法-全网最详细教程
热门推荐
yiyele的博客
06-07 48万+
一、生成数据表 1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用： import numpy as np import pandas as pd 2、导入CSV或者xlsx文件： df = pd.DataFrame(pd.read_csv(‘name.csv’,header=1)) df = pd.DataFrame(pd.read_excel(‘nam............
全网最全的Pandas入门教程（精简版）
10-27 1827
pandas基础教程目录一 DataFrame 1.1 创建Series 1.2 创建时间序列 1.3 创建DataFrame 1.4 DataFrame...
python数据科学系列：pandas入门详细教程
python爬虫人工智能大数据
05-06 9614
导读前2篇分别系统性介绍了numpy和matplotlib的入门基本知识，今天本文自然是要对pandas进行入门详细介绍，通过本文你将系统性了解pandas为何会有数据分析界"瑞...
Pandas学习笔记
weixin_30666943的博客
10-19 63
本学习笔记来自于莫烦Python，原视频链接 一、Pandas基本介绍和使用 Series数据结构：索引在左，值在右 import pandas as pd import numpy as np s = pd.Series([1,3,6,np.nan,44,1]) print(s) """ 0 1.0 1 3.0 2 6.0 3 NaN...
pandas基础操作大全之数据可视化
yifengchaoran的专栏
12-05 13万+
在pandas 基础操作大全之数据读取&清洗&分析中介绍了pandas常见的数据处理操作，现在继续对pandas常用的数据合并及数据可视化操作做下介绍，便于大家快速了解，也方便后续需要时快速查询。 一、数据合并 1.1 concat 1.1.1 概述 #concat是 1.1.2 指定合并的轴方向--axis 1.2.3 指定合并轴另外一个轴标签是否合并--join 1.2.4 指定合并轴原标签是否需要变化--ignore_index 1.2.5 指定 1.2.6 指定合
Pandas基础教程
Melo
08-15 6821
Pandas基本介绍 Numpy 和 Pandas 有什么不同 如果用 python 的列表和字典来作比较, 那么可以说 Numpy 是列表形式的，没有数值标签，而 Pandas 就是字典形式。Pandas是基于Numpy构建的，让Numpy为中心的应用变得更加简单。 要使用pandas，首先需要了解他主要两个数据结构：Series和DataFrame。 Series import ...
Python Scrapy爬虫简单教程
养猪少年日记的博客
07-22 1万+
目标确定 本人在做一个前端页面的项目,用到一些电影数据 , 就打算在网上爬取一些数据,之前使用自写的爬虫demo,但效果不太好,而且费时间.所以打算用框架解决. 框架选择Scrapy. 爬取网页:https://www.ygdy8.net/html/gndy/china/index.html 页面分析 打开页面,https://www.ygdy8.net/html/gndy/china/index...
git配置(gitee)
养猪少年日记的博客
05-30 1万+
这里仅提供简单的git使用,详细内容参考 将本地工程同步保存在git上,这里采用gitee.github,gitlab同理. 在Windows上安装Git 在Windows上使用Git，可以从Git官网直接下载安装程序，（网速慢的同学请移步国内镜像），然后按默认选项安装即可。 安装完成后，在开始菜单里找到“Git”->“Git Bash”，蹦出一个类似命令行窗口的东西，就说明Git安装成功！...
Python数据分析利器：Pandas深度教程
"无涯教程提供的Pandas教程是针对Python数据分析的开源库学习资料，适合初学者和专业人士。Pandas由Wes McKinney在2008年开发，基于NumPy，提供了高性能的数据处理功能。它包括数据操作、时间序列分析等多个高级概念...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值