Pandas入门

最新推荐文章于 2022-01-05 14:43:26 发布
最新推荐文章于 2022-01-05 14:43:26 发布
阅读量399 收藏
点赞数 1
分类专栏： 机器学习 数据分析 文章标签： 数据 库 对象
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z649431508/article/details/78850981
版权

pandas库是用来处理数据，进行数据清洗的非常常用的库，本文是对pandas的简短介绍，主要面向新用户。
通常，我们导入如下：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

创建对象
通过列表创建Series，让pandas创建一个默认整数索引：

 s = pd.Series([1,3,5,np.nan,6,8])
 print（s）

输出：
0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64
通过传递numpy数组，使用datetime索引和标记的列来创建DataFrame：

 dates = pd.date_range('20130101', periods=6)
 print（dates）

输出：
DatetimeIndex([‘2013-01-01’, ‘2013-01-02’, ‘2013-01-03’, ‘2013-01-04’,
‘2013-01-05’, ‘2013-01-06’],
dtype=’datetime64[ns]’, freq=’D’)

df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
print（df）

输出：

           A         B         C         D

2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2013-01-05 -0.424972 0.567020 0.276232 -1.087401
2013-01-06 -0.673690 0.113648 -1.478427 0.524988
通过传递可以转换为类系列的对象的dict来创建DataFrame。

df2 = pd.DataFrame({ 'A' : 1.,
                         'B' : pd.Timestamp('20130102'),
                         'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
                         'D' : np.array([3] * 4,dtype='int32'),
                         'E' : pd.Categorical(["test","train","test","train"]),
                         'F' : 'foo' })
print（df2）

输出：
A B C D E F
0 1.0 2013-01-02 1.0 3 test foo
1 1.0 2013-01-02 1.0 3 train foo
2 1.0 2013-01-02 1.0 3 test foo
3 1.0 2013-01-02 1.0 3 train foo
具有特定dtypes：

print（df2.dtypes）

输出：
A float64
B datetime64[ns]
C float32
D int32
E category
F object
dtype: object

浏览数据
查看数据框的头部和尾部数据

print（df.head()）

输出：

           A         B         C         D

2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2013-01-05 -0.424972 0.567020 0.276232 -1.087401

print（df.tail(3)）

输出：

           A         B         C         D

2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2013-01-05 -0.424972 0.567020 0.276232 -1.087401
2013-01-06 -0.673690 0.113648 -1.478427 0.524988
显示索引，列和基础numpy数据：

print（df.index）

print（df.columns）

print（df.values）

输出：
DatetimeIndex([‘2013-01-01’, ‘2013-01-02’, ‘2013-01-03’, ‘2013-01-04’,
‘2013-01-05’, ‘2013-01-06’],
dtype=’datetime64[ns]’, freq=’D’)

Index([u’A’, u’B’, u’C’, u’D’], dtype=’object’)

array([[ 0.4691, -0.2829, -1.5091, -1.1356],
[ 1.2121, -0.1732, 0.1192, -1.0442],
[-0.8618, -2.1046, -0.4949, 1.0718],
[ 0.7216, -0.7068, -1.0396, 0.2719],
[-0.425 , 0.567 , 0.2762, -1.0874],
[-0.6737, 0.1136, -1.4784, 0.525 ]])
describe()显示您的数据的快速统计摘要

print（df.describe()）

输出：

      A        B        C        D

count 6.000000 6.000000 6.000000 6.000000
mean 0.073711 -0.431125 -0.687758 -0.233103
std 0.843157 0.922818 0.779887 0.973118
min -0.861849 -2.104569 -1.509059 -1.135632
25% -0.611510 -0.600794 -1.368714 -1.076610
50% 0.022070 -0.228039 -0.767252 -0.386188
75% 0.658444 0.041933 -0.034326 0.461706
max 1.212112 0.567020 0.276232 1.071804
转置数据：

print（df.T）

输出：
2013-01-01 2013-01-02 2013-01-03 2013-01-04 2013-01-05 2013-01-06
A 0.469112 1.212112 -0.861849 0.721555 -0.424972 -0.673690
B -0.282863 -0.173215 -2.104569 -0.706771 0.567020 0.113648
C -1.509059 0.119209 -0.494929 -1.039575 0.276232 -1.478427
D -1.135632 -1.044236 1.071804 0.271860 -1.087401 0.524988
按轴排序

print（df.sort_index(axis=1, ascending=False)）

输出：

          D         C          B        A

2013-01-01 -1.135632 -1.509059 -0.282863 0.469112
2013-01-02 -1.044236 0.119209 -0.173215 1.212112
2013-01-03 1.071804 -0.494929 -2.104569 -0.861849
2013-01-04 0.271860 -1.039575 -0.706771 0.721555
2013-01-05 -1.087401 0.276232 0.567020 -0.424972
2013-01-06 0.524988 -1.478427 0.113648 -0.673690

按值排序

print（df.sort_values(by='B')）

输出：

           A           B         C         D

2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-06 -0.673690 0.113648 -1.478427 0.524988
2013-01-05 -0.424972 0.567020 0.276232 -1.087401
Getting
选择单个列，产生Series，等效于df.A

print（df['A']）

输出：
2013-01-01 0.469112
2013-01-02 1.212112
2013-01-03 -0.861849
2013-01-04 0.721555
2013-01-05 -0.424972
2013-01-06 -0.673690
Freq: D, Name: A, dtype: float64

通过[]选择，通过切片选择行。

print（df[0:3]）

print（df['20130102':'20130104']）

输出：

           A         B         C         D

2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804

           A         B         C         D

2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
2013-01-04 0.721555 -0.706771 -1.039575 0.271860

Selection by Label
使用标签获取横截面

print（df.loc[dates[0]]）

输出：
A 0.469112
B -0.282863
C -1.509059
D -1.135632
Name: 2013-01-01 00:00:00, dtype: float64
按标签选择多轴

print（df.loc[:,['A','B']]）

输出：

            A         B

2013-01-01 0.469112 -0.282863
2013-01-02 1.212112 -0.173215
2013-01-03 -0.861849 -2.104569
2013-01-04 0.721555 -0.706771
2013-01-05 -0.424972 0.567020
2013-01-06 -0.673690 0.113648
显示标签切片，两个端点都包含

print（df.loc['20130102':'20130104',['A','B']]）

输出：

            A         B

2013-01-02 1.212112 -0.173215
2013-01-03 -0.861849 -2.104569
2013-01-04 0.721555 -0.706771
减少返回对象的维度

print（df.loc['20130102',['A','B']]）

输出：
A 1.212112
B -0.173215
Name: 2013-01-02 00:00:00, dtype: float64
获取标量值：

print（df.loc[dates[0],'A']）

输出：
0.46911229990718628
为了获得对标量的快速访问（等同于之前的方法）：

 print（df.at[dates[0],'A']）

输出：
0.46911229990718628

Selection by Position
通过传递的整数的位置选择

print（df.iloc[3]）

输出：
A 0.721555
B -0.706771
C -1.039575
D 0.271860
Name: 2013-01-04 00:00:00, dtype: float64

通过整数切片，行为类似于numpy / python：

print（df.iloc[3:5,0:2]）

输出：
A B
2013-01-04 0.721555 -0.706771
2013-01-05 -0.424972 0.567020

显式获取值：

print(df.iloc[1,1])

输出：
-0.17321464905330858

布尔索引
使用单个列的值的条件来选择数据。

 print（df[df.A > 0]）

输出：

            A         B         C         D

2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
使用isin()方法进行过滤：

df2 = df.copy()
df2['E'] = ['one', 'one','two','three','four','three']
print（df2）

print(df2[df2['E'].isin(['two','four'])])

输出：

               A         B         C         D      E

2013-01-01 0.469112 -0.282863 -1.509059 -1.135632 one
2013-01-02 1.212112 -0.173215 0.119209 -1.044236 one
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804 two
2013-01-04 0.721555 -0.706771 -1.039575 0.271860 three
2013-01-05 -0.424972 0.567020 0.276232 -1.087401 four
2013-01-06 -0.673690 0.113648 -1.478427 0.524988 three

               A         B         C         D     E

2013-01-03 -0.861849 -2.104569 -0.494929 1.071804 two
2013-01-05 -0.424972 0.567020 0.276232 -1.087401 four

Setting
设置新列会自动按索引对齐数据

s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6))
print（s1）

输出：
2013-01-02 1
2013-01-03 2
2013-01-04 3
2013-01-05 4
2013-01-06 5
2013-01-07 6
Freq: D, dtype: int64

#按标签设置值
df.at[dates[0],'A'] = 0
#按位置设置值
df.iat[0,1] = 0
#通过分配numpy数组进行设置
df.loc[:,'D'] = np.array([5] * len(df))
#输出df
print（df）

输出：

             A        B        C   D    F

2013-01-01 0.000000 0.000000 -1.509059 5 NaN
2013-01-02 1.212112 -0.173215 0.119209 5 1.0
2013-01-03 -0.861849 -2.104569 -0.494929 5 2.0
2013-01-04 0.721555 -0.706771 -1.039575 5 3.0
2013-01-05 -0.424972 0.567020 0.276232 5 4.0
2013-01-06 -0.673690 0.113648 -1.478427 5 5.0

Missing Data
pandas主要使用值np.nan来表示缺失的数据。在计算中是默认不包括缺失值的。
reindexing允许您更改/添加/删除指定轴上的索引。这将返回数据的副本。

df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
df1.loc[dates[0]:dates[1],'E'] = 1
print（df1）

输出：

             A       B         C   D   F    E

2013-01-01 0.000000 0.000000 -1.509059 5 NaN 1.0
2013-01-02 1.212112 -0.173215 0.119209 5 1.0 1.0
2013-01-03 -0.861849 -2.104569 -0.494929 5 2.0 NaN
2013-01-04 0.721555 -0.706771 -1.039575 5 3.0 NaN
使用drop方法删除任何含有缺少数据的行。

print（df1.dropna(how='any')）

输出：

           A         B       C     D    F   E

2013-01-02 1.212112 -0.173215 0.119209 5 1.0 1.0

filling方法填充缺失值

print（df1.fillna(value=5)）

输出：

          A         B         C    D  F    E

2013-01-01 0.000000 0.000000 -1.509059 5 5.0 1.0
2013-01-02 1.212112 -0.173215 0.119209 5 1.0 1.0
2013-01-03 -0.861849 -2.104569 -0.494929 5 2.0 5.0
2013-01-04 0.721555 -0.706771 -1.039575 5 3.0 5.0

使用isnull方获取值为nan的布尔值

print（pd.isnull(df1)）

输出：

          A    B    C    D    F    E

2013-01-01 False False False False True False
2013-01-02 False False False False False False
2013-01-03 False False False False False True
2013-01-04 False False False False False True

Operations
一般操作排除缺失值。
执行(axis=0)描述性统计（求均值）

print（df.mean()）

输出：
A -0.004474
B -0.383981
C -0.687758
D 5.000000
F 3.000000
dtype: float64

执行列（axis=1）描述统计

print（df.mean(1)）

输出：
2013-01-01 0.872735
2013-01-02 1.431621
2013-01-03 0.707731
2013-01-04 1.395042
2013-01-05 1.883656
2013-01-06 1.592306
Freq: D, dtype: float64

使用具有不同维度并需要对齐的对象进行操作。此外，pandas会自动沿指定的维度广播。

s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2)
print（s)

输出：
2013-01-01 NaN
2013-01-02 NaN
2013-01-03 1.0
2013-01-04 3.0
2013-01-05 5.0
2013-01-06 NaN
Freq: D, dtype: float64

print（df.sub(s, axis='index')）

输出：

            A       B       C    D    F

2013-01-01 NaN NaN NaN NaN NaN
2013-01-02 NaN NaN NaN NaN NaN
2013-01-03 -1.861849 -3.104569 -1.494929 4.0 1.0
2013-01-04 -2.278445 -3.706771 -4.039575 2.0 0.0
2013-01-05 -5.424972 -4.432980 -4.723768 0.0 -1.0
2013-01-06 NaN NaN NaN NaN NaN

字符串方法
Series 的str属性配置了一组字符串处理方法，可以方便地对数组的每个元素进行操作，如下面的代码段所示。注意，str中的模式匹配默认使用正则表达式（在某些情况下总是使用它们）。

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])
print（s.str.lower()）

输出：
0 a
1 b
2 c
3 aaba
4 baca
5 NaN
6 caba
7 dog
8 cat
dtype: object

以上，pandas还有其他的许多操作，等以后有时间了，在慢慢码上代码，希望这些对需要处理数据的小伙伴们能有帮助，最后再多说一句，如果觉得本文有用的话，请在下方给个点赞。。。
最后的最后，分享给大家一句看过的诗
隐约雷鸣，阴霾天空，但盼风雨来，能留你在此。 —-《万叶集》

z649431508
关注
专栏目录
代码：细化法+灰度重心法提取线激光条纹中心线（CPP+OpenCV）
kangjielearning的博客
04-21 2496
先使用细化法去进行激光中心线的粗提取，在此基础上应用灰度重心法进行中心线的精提取。 #include<opencv2/core/core.hpp> #include<opencv2/calib3d/calib3d.hpp> #include<opencv2/highgui/highgui.hpp> #include<opencv2/imgproc/imgproc.hpp> #include<iostream> #include<fstre.
基于python的numpy和pandas库的灰色关联分析及可视化(含实例)
leadingme的博客
09-09 1万+
使用python实现灰色关联分析及其可视化 在这里总结一下的数学建模常用的几种模型评估方法，这里讲的是使用python的Pandas库和高效的Numpy科学计算库实现。如果想看用Python实现的模型的灵敏度分析，可以看我上一篇博文，传送门: 模型灵敏度分析及可视化. 下面将详细介绍灰色关联度分析并一个实例结束文章。 灰色关联分析法 简介 灰色系统理论提出了对各子系统进行灰色关联度分析的概念，意图透过一定的方法，去寻求系统中各子系统（或因素）之间的数值关系。因此，灰色关联度分析对于一个系统发展变化态势
基于线结构光的光条中心亚像素提取研究
04-16
为解决实际测量中求光条中心速度慢的问题，提出一种基于阈值法和Hessian矩阵的改进算法。首先，使用均值滤波以削弱图像噪声，并通过设定阈值来找出光条中心粗略位置，而后利用高斯函数的可分离性和对称性获得光条中心点的Hessian矩阵，以此求出定每一个粗略中心点的法线方向，最后，经过光条中心点在其法线方向上的泰勒级数二次展开得到亚像素坐标点。实验表明该算法能有效降低噪声对图像的影响，极大提高Hessian矩阵的求取速度，同时精度也可达到亚像素级。
激光条纹中心提取——灰度重心法
CharmsLUO的博客
01-05 6094
菜鸡的灰度重心法 灰度重心法的概念就不用我多哔哔了，做激光中心提取的同学都知道，灰度重心法应该说是最早的一种光条中心提取算法了，顾名思义就是根据灰度值的分布求出中心，所以往往要求灰度分布成高斯分布，但是实际情况是相反的，所以这种方法就只歇着，不过有很多灰度中心法结合或者改进比较常看到。 上代码 #include <opencv2/opencv.hpp> #include <iostream> #include <opencv2\imgproc\types_c.h> #i
灰度重心法提取光条纹中心
热门推荐
z649431508的博客
11-17 1万+
灰度重心法提取激光光条纹中心其实是将光条纹截面的灰度值分布中的质心记作为光条纹的中心。
2 第二章 pandas入门与实战—《从零开始学Python数据分析》.pdf
08-18
pandas入门与实战 pandas是一个强大的数据分析库，提供了两个基本的数据结构：Series和DataFrame。下面将对这两个数据结构进行详细的介绍。 一、Series数据结构 Series数据结构类似于一维数组，但它是由一组数组...
pandas入门
12-22
【Pandas 入门】 Pandas 是一个强大的 Python 数据分析库，它提供了高效的数据结构，如 Series 和 DataFrame，用于处理和分析表格型数据。本文将介绍如何入门使用 Pandas。 **1. 数据结构：Series** Series 是 ...
线结构光中心提取算法（matlab）
08-03
利用变阈值重心法提取线结构光中心的代码。 利用变阈值重心法提取线结构光中心的代码。
快速线结构光中心提取算法
03-05
基于几何中心法、方向模板法和灰度重心法，提出了一种快速提取结构光中心的算法。
光斑重心测量系统设计
05-10
基于USB2.0的光斑重心测量系统设计源码
激光线条中心提取
01-15
用Matlab实现的线结构光条中心提取，去噪过程。
灰度重心法.zip
06-05
通过灰度转换，得到灰度图像，再通过设置阈值，得到图像光条区域ROI，最后通过计算ROI区域的灰度重心，计算得到激光光条中心。注：按行列式计算，不考虑光条方向。
灰度图像基本处理，包括二值化和求质心
05-19
对灰度图像进行二值化，二值膨胀，二值腐蚀以及求目标质心。
opencv图像灰度重心算法
moses1213的专栏
03-27 1万+
导师交给的项目，其中一步就是求光斑的重心，网上有很多关于重心的代码，大体是利用cvFindContour函数找出图像的轮廓，然后将图像阈值分割，二值化处理。这样处理后图像的灰度值只有0和1两个值，丢失了很多灰度信息，这样找出来的重心实际上是轮廓几何图形的形心，灰度值的影响并没有反应出来。   下面介绍一下灰度重心法：   对于亮度不均与的目标，灰度重心法可按目标光强分布求出光强权重质心坐标作为
steger.cpp
10-19
基于opencv2的steger光条提取算法，经测试提取效果还可以。如果需要提高速度，可以在循环内处理一阶、二阶导数，高斯滤波等
基于灰度图像的质心算法和三角测距原理（学习笔记）
执念
01-10 1万+
  本文介绍纯理论部分，至于FPGA实现就不多说了。 常见的质心算法有以下几种，可以应用于不同的场合。 （1）普通质心算法     其中为二维图像上每个像素点所接收到的光强，该算法适用于没有背景噪声，背景噪声一致或信噪比较高的情况。   （2） 强加权质心算法           其原理是将光斑中心较近的部分区域像素值增强，使得对光斑影响较大点的影响力进一步加大，提高质心探测...
pandas入门教程
最新发布
07-28
- *1* *2* [非常全面的Pandas入门教程](https://blog.csdn.net/weixin_44489066/article/details/89494395)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值