数据分析第三篇——Pandas之DataFrame的运算(算数运算、逻辑运算、统计运算与自定义运算)

最新推荐文章于 2023-05-06 10:14:09 发布
最新推荐文章于 2023-05-06 10:14:09 发布
阅读量1.4k 收藏 7
点赞数
分类专栏： 数据分析 文章标签： python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45654959/article/details/105481701
版权

3.3 DataFrame运算

  • 3.3.1算数运算
    1. 算数运算符
    2. 算数运算函数
  • 3.3.2 逻辑运算
    1. 逻辑运算符
      • 布尔索引
    2. 逻辑运算函数
  • 3.3.3 统计运算
  • 3.3.4 自定义运算

3.3.1 算数运算

  1. 使用算术运算符
  2. 使用算数运算函数
    • add(other)——加
    • sub(other)——减
1. 使用算数运算符
data['open'].head()

trade_date
20200313    222
20200312    100
20200311    100
20200310    100
20200309    100
Name: open, dtype: int64

(data['open'] + 3).head()

trade_date
20200313    225
20200312    103
20200311    103
20200310    103
20200309    103
Name: open, dtype: int64

(data + 10).head()
closeopenhighlowchangepct_chgvolamount
trade_date
202003132897.42652322920.88122809.9841-26.05918.7666366450446.0393019675.2
202003122933.48561102954.46512916.2838-35.03188.4830307778467.0328209212.4
202003112978.51741103020.02862978.5174-18.24449.0575352470980.0378766629.0
202003103006.76181103010.29632914.798963.471111.8167393296658.0425017194.8
202003092953.29071102999.20512950.7138-81.22066.9939414560746.0438143864.6
(data['close'] - data['open']).head()

trade_date
20200313    2665.4265
20200312    2823.4856
20200311    2868.5174
20200310    2896.7618
20200309    2843.2907
dtype: float64
2. 使用算数运算函数
data['open'].add(5).head()

trade_date
20200313    227
20200312    105
20200311    105
20200310    105
20200309    105
Name: open, dtype: int64

data.head()
closeopenhighlowchangepct_chgvolamount
trade_date
202003132887.42652222910.88122799.9841-36.0591-1.2334366450436.0393019665.2
202003122923.48561002944.46512906.2838-45.0318-1.5170307778457.0328209202.4
202003112968.51741003010.02862968.5174-28.2444-0.9425352470970.0378766619.0
202003102996.76181003000.29632904.798953.47111.8167393296648.0425017184.8
202003092943.29071002989.20512940.7138-91.2206-3.0061414560736.0438143854.6
data.sub(100).head()
closeopenhighlowchangepct_chgvolamount
trade_date
202003132787.42651222810.88122699.9841-136.0591-101.2334366450336.0393019565.2
202003122823.485602844.46512806.2838-145.0318-101.5170307778357.0328209102.4
202003112868.517402910.02862868.5174-128.2444-100.9425352470870.0378766519.0
202003102896.761802900.29632804.7989-46.5289-98.1833393296548.0425017084.8
202003092843.290702889.20512840.7138-191.2206-103.0061414560636.0438143754.6
data['close'].sub(data['open']).head()

trade_date
20200313    2665.4265
20200312    2823.4856
20200311    2868.5174
20200310    2896.7618
20200309    2843.2907
dtype: float64

3.3.2 逻辑运算

1. 逻辑运算符 <、>、|、&
  • 例如筛选pct_chg > 1 的日期数据
    • data[‘pct_chg’] > 1 返回布尔值组成的Series
data['pct_chg'] > 1

trade_date
20200313    False
20200312    False
20200311    False
20200310     True
20200309    False
            ...  
19910719    False
19910718     True
19910717    False
19910716    False
19910715    False
Name: pct_chg, Length: 7002, dtype: bool
布尔索引
# 单逻辑判断的布尔索引
data[data['pct_chg'] > 2].head()
closeopenhighlowchangepct_chgvolamount
trade_date
202003022970.93121002982.50682899.310090.62743.1465367333369.0397244201.2
202002172983.62241002983.63712924.991366.61472.2837313198007.0367014340.1
201908192883.09601002883.09602829.854259.27222.0990214546668.0247092216.3
201907013044.90281003045.36693014.687166.02442.2164250840433.0266541056.9
201906202987.11861002997.38882915.089569.31572.3756291011537.0288296546.4
# 符合逻辑判断的布尔索引
data[(data['pct_chg'] > 2) & (data['low'] > 2000)].head()
closeopenhighlowchangepct_chgvolamount
trade_date
202003022970.93121002982.50682899.310090.62743.1465367333369.0397244201.2
202002172983.62241002983.63712924.991366.61472.2837313198007.0367014340.1
201908192883.09601002883.09602829.854259.27222.0990214546668.0247092216.3
201907013044.90281003045.36693014.687166.02442.2164250840433.0266541056.9
201906202987.11861002997.38882915.089569.31572.3756291011537.0288296546.4
(data['pct_chg'] > 2) & (data['low'] > 2000)

trade_date
20200313    False
20200312    False
20200311    False
20200310    False
20200309    False
            ...  
19910719    False
19910718    False
19910717    False
19910716    False
19910715    False
Length: 7002, dtype: bool
2. 逻辑运算函数
  • query(expression)
    • expression：查询的字符串
  • isin(values)
    • 判断字段对应的值是否在某个范围内
# 通过使用query来简化布尔索引
data.query('pct_chg > 2 & low > 2000').head()
closeopenhighlowchangepct_chgvolamount
trade_date
202003022970.93121002982.50682899.310090.62743.1465367333369.0397244201.2
202002172983.62241002983.63712924.991366.61472.2837313198007.0367014340.1
201908192883.09601002883.09602829.854259.27222.0990214546668.0247092216.3
201907013044.90281003045.36693014.687166.02442.2164250840433.0266541056.9
201906202987.11861002997.38882915.089569.31572.3756291011537.0288296546.4
用isin()判断open列是否为100或200
data['open'].isin([100, 200]).head()

trade_date
20200313    False
20200312     True
20200311     True
20200310     True
20200309     True
Name: open, dtype: bool

data[data['open'].isin([100, 200])].head()
closeopenhighlowchangepct_chgvolamount
trade_date
202003122923.48561002944.46512906.2838-45.0318-1.5170307778457.0328209202.4
202003112968.51741003010.02862968.5174-28.2444-0.9425352470970.0378766619.0
202003102996.76181003000.29632904.798953.47111.8167393296648.0425017184.8
202003092943.29071002989.20512940.7138-91.2206-3.0061414560736.0438143854.6
202003063034.51131003052.44393029.4632-37.1658-1.2100362061533.0377388542.7

3.3.3 统计运算

  1. describe()
  2. 统计函数
    • count – 非空值的数目
    • sum – 求和
    • mean – 平均值
    • median – 中位数
    • min – 最小值
    • max – 最大值
    • mode – Mode
    • abs – 绝对值
    • prod – Product of values
    • std – 标准差
    • var – 方差
    • idxmax – 最大值所在的位置
    • idxmin – 最小值所在的位置

**对单个函数进行统计的时候，坐标轴还是按照这些默认为columns(axis=0, default)，如果要对index进行统计，则要指明(axis=1)**这里的axis取值与axis=0对应index，axis=1对应columns不同
- 使用0值表示沿着每一列或行标签\索引值向下执行方法
- 使用1值表示沿着每一行或者列标签模向执行对应的方法

1. describe()——统计count、mean、std、min、max、百分位数
data.describe()
closeopenhighlowchangepct_chgvolamount
count7002.0000007002.0000007002.0000007002.0000007002.0000007002.0000007.002000e+037.002000e+03
mean1995.338756100.0174242013.0672551973.5108020.3934860.0712417.701220e+078.319068e+07
std1048.4148181.4579711057.2913761035.68657841.4428812.4843221.068379e+081.309678e+08
min133.140000100.000000134.100000131.870000-354.684000-16.3937002.500000e+023.149740e+02
25%1191.735250100.0000001203.1262501179.751250-12.965025-0.7564505.149394e+064.277775e+06
50%1898.920000100.0000001914.4070001883.5375000.9340000.0695002.656829e+071.763237e+07
75%2838.853250100.0000002865.6065002807.60800014.4390000.8636501.204594e+081.274506e+08
max6092.057000222.0000006124.0440006040.713000649.500000105.2691008.571328e+081.309925e+09
data.max()

close      6.092057e+03
open       2.220000e+02
high       6.124044e+03
low        6.040713e+03
change     6.495000e+02
pct_chg    1.052691e+02
vol        8.571328e+08
amount     1.309925e+09
dtype: float64

data.max(axis=1)

trade_date
20200313    393019665.2
20200312    328209202.4
20200311    378766619.0
20200310    425017184.8
20200309    438143854.6
               ...     
19910719        10823.0
19910718          847.0
19910717          660.0
19910716         2796.0
19910715        11938.0
Length: 7002, dtype: float64

data.idxmax()

close      20071016
open       20200313
high       20071016
low        20071016
change     19920521
pct_chg    19920521
vol        20150420
amount     20150608
dtype: int64

data.idxmin()

close      19910715
open       20200312
high       19910715
low        19910715
change     20080122
pct_chg    19950523
vol        19920117
amount     19920115
dtype: int64

3.3.4 累计统计函数

函数作用
cumsum计算前n个数的和
cummax计算前n个数的最大值
cummin计算前n个数的最小值
cumprod计算前n个数的积
data['pct_chg'].cumsum()

trade_date
20200313     -1.2334
20200312     -2.7504
20200311     -3.6929
20200310     -1.8762
20200309     -4.8823
              ...   
19910719    495.5773
19910718    496.5787
19910717    497.5752
19910716    498.5741
19910715    498.8301
Name: pct_chg, Length: 7002, dtype: float64

data['pct_chg'].sort_index().cumsum().plot()

<matplotlib.axes._subplots.AxesSubplot at 0x176fb7d9788>

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pq38Ylww-1586741471283)(output_129_1.png)]

3.3.5 自定义运算

  • apply(func, axis=0)
    • func – 自定义函数
    • axis=0 – 默认是列（按行标签方向执行方法），axis=1为对行进行运算（按列标签方向执行方法）
  • 定义一个对列求max-min的函数
data.head()
closeopenhighlowchangepct_chgvolamount
trade_date
202003132887.42652222910.88122799.9841-36.0591-1.2334366450436.0393019665.2
202003122923.48561002944.46512906.2838-45.0318-1.5170307778457.0328209202.4
202003112968.51741003010.02862968.5174-28.2444-0.9425352470970.0378766619.0
202003102996.76181003000.29632904.798953.47111.8167393296648.0425017184.8
202003092943.29071002989.20512940.7138-91.2206-3.0061414560736.0438143854.6
data.apply(lambda x: x.max() - x.min()) # lambda为匿名函数，x为自变量，冒号后面为函数表达式

close      5.958917e+03
open       1.220000e+02
high       5.989944e+03
low        5.908843e+03
change     1.004184e+03
pct_chg    1.216628e+02
vol        8.571326e+08
amount     1.309924e+09
dtype: float64

data['vol'].max() - data['vol'].min()

857132557.0
汤圆不是油条
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据分析之Pandas（四）DataFrame运算
提莫君的博客
03-18 1万+
本章内容 算术运算 逻辑运算 统计运算 累计统计函数 自定义运算 第一节 算术运算 add(other) 比如进行数学运算加上具体的一个数字 sub(other) 如果想要得到每天的涨跌大小？求出每天 close- open价格差 第二节 逻辑运算 逻辑运算符号&amp;lt;、 &amp;gt;、|、 &amp;amp; 逻辑运算类型：&amp;gt;, &amp;gt;=, &amp;lt;, &amp;lt;=, ==, !=
pandas中DataFrame和Series的逻辑运算
weixin_42383362的博客
07-01 595
pandas逻辑运算，数据筛选
【Python】Pandas DataFrame整理、运算操作
weixin_44115606的博客
08-24 846
一、DataFrame的建构整理 转置 行和列的增加减少变动 （1）列的增加可以有2种情况：使用索引列的方法；使用concat函数合并 （2）行的增加有3种情况：使用concat函数合并，使用append函数增加 （3）drop函数和del函数删除 concat函数参数介绍，函数简介 pandas 数据合并方法汇总 concat合并两个dataframe 合并的多个示例 重置索引reindex 比较少用：替换 二、DataFrame的运算与函数 简单运算中+、-、*是简单运算符可以直接使用，而除法需
Pandas的学习(4.DataFrame之间的运算以及DataFrame和Series之间的运算)
Mogul的博客
05-27 6637
DataFrame的运算 1.DataFrame之间的运算 同Series一样： --- 在运算中自动对齐不同索引的数据 --- 如果索引不对应，则补NaN 无论是行不对应还是列不对应，都会补充NaN值 from pandas import DataFrame import numpy as ...
Pandas--运算符与运算函数
weixin_58736852的博客
10-16 658
常用的pandas运算函数
Pandas基本数据操作、排序、算术运算、逻辑运算
Learn_and的博客
07-29 1290
索引操作： 为了更好的理解这些基本操作，我们将读取一个真实的股票数据。关于文件操作，后面介绍，这里只先用一下API 读取文件 删除一些列，让数据更简单些，再去做后面的操作： data = data.drop([“ma5”, “ma10”, “ma20”, “v_ma5”, “v_ma10”, “v_ma20”], axis=1) 注意：不能直接进行数字索引。 Numpy当中我们已经讲过使用索引选取序列和切片选择，pandas也支持类似的操作，也可以直接使用列名、行名称，甚至组合使用。 直接
pandas DataFrame运算的实现
09-16
本文将深入探讨如何实现Pandas DataFrame的运算，包括算术运算、逻辑运算和统计运算。 1. 算术运算： Pandas DataFrame支持基本的数学运算，例如加法(add)和减法(sub)。`add()`方法允许我们向DataFrame的某一列（或...
Pandas对DataFrame单列/多列进行运算(map, apply, transform, agg)
09-16
主要介绍了Pandas对DataFrame单列/多列进行运算(map, apply, transform, agg)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
对pandas的算术运算和数据对齐实例详解
09-19
今天小编就为大家分享一篇对pandas的算术运算和数据对齐实例详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
数据分析+数据预处理+Pandas-DataFrame
最新发布
07-11
Pandas-DataFrame常用基础知识点总结，代码示例，主要有对某列字符替换、groupby分组统计、聚合统计、根据某列进行排序、dataframe格式转字典、datafrane 多行合并为一行、新增与删除某列、删除某列字符大于8的行、...
python科学计算四：pandas
nkwangjie的专栏
12-18 1万+
Pandas是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据（panel
如何学Python 第十二课 逻辑运算符-成员运算符 ---转载----玄魂工作室
shadowyingjian的博客
07-17 279
上一节我们介绍了元组和字典。这节课我们讨论点别的，逻辑运算符和成员运算符(有些人也把这个翻译成身份运算符)。他们和布尔类型紧密相关，所以，如果你不太记得什么叫做布尔类型了，请回头看看第五课。   本文将首先介绍逻辑运算符和成员运算符的定义，然后演示他们的使用方法。   小提示 记住，我们之所以把逻辑运算符和成员运算符放在一起说，只是因为他们经常一起出现，但这不意味着它们是同一类东西。 ...
DataFrame(2)：基本运算
lghpy的博客
12-16 2060
DataFrame(2)：常见运算
pandas | DataFrame基础运算以及空值填充
august5291的博客
10-26 1418
今天是pandas数据处理专题的第四篇文章，我们一起来聊聊DataFrame的基本运算。 上一篇文章当中我们介绍了DataFrame数据结构当中一些常用的索引的使用方法，比如iloc、loc以及逻辑索引等等。今天的文章我们来看看DataFrame的一些基本运算。 数据对齐 我们可以计算两个DataFrame的加和，pandas会自动将这两个DataFrame进行数据对齐，如果对不上的数据会被置为Nan（not a number）。 首先我们来创建两个DataFrame： importn...
pandas - pct_change 方法的使用
galoiszhou的博客
05-06 1339
熟练掌握.pct_change()方法,可以让我们在分析数据变化趋势和研究股价时序数据时高效地计算相邻行的百分比变化。这是描述和理解数据变动的关键指标之一。方法计算DataFrame或Series中相邻两行的百分比变化。可以看到,第一行为NaN,表示无法计算。在pandas中,可以使用。
DataFrame(8)：DataFrame运算——逻辑运算(用于筛选数据)
数据分析与统计学之美
02-07 1万+
1、DataFrame逻辑运算 逻辑运算符号：> >= < <= == != 复合逻辑运算符：& | ~ 逻辑运算函数：query()、isin()、between() 逻辑运算的作用：利用逻辑运算，用于筛选数据(很重要) 2、原始数据文件链接如下 http://note.youdao.com/noteshare?id=bc204b1f...
Pandas之DataFrame操作
热门推荐
Carl
09-11 4万+
Pandas是Python下一个开源数据分析的库，它提供的数据结构DataFrame极大的简化了数据分析过程中一些繁琐操作。 1. 基本使用：创建DataFrame. DataFrame是一张二维的表，大家可以把它想象成一张Excel表单或者Sql表。Excel 2007及其以后的版本的最大行数是1048576，最大列数是16384，超过这个规模的数据Excel就会弹出个框框“此文本包含多行文本，
Pandas--DataFrame运算
weixin_38287297的博客
08-08 3280
相同列名相加 df1 = pd.DataFrame({'a': [1, 2, 3,4], 'b': [ 5,6,7,8], 'c': [9,10,11,12]}) df2 = pd.DataFrame({'a': [10, 20, 30,40], 'b': [50, 60,70,80], 'c': [90,100, 110,120]}) df3 = pd.DataFrame({'d': [10...
pandas-DataFrame运算
汪云辉的博客
08-15 3367
DataFrame运算 1 算术运算 add(other) 比如进行数学运算加上具体的一个数字 data['open'].add(1) 2018-02-27 24.53 2018-02-26 23.80 2018-02-23 23.88 2018-02-22 23.25 2018-02-14 22.49 sub(other) 2 逻辑运算 2.1 逻辑...
t是DataFrame变量，x = t[:3] / t[:4]，x是什么
05-19
假设t是一个DataFrame变量，其中有至少3行和4列的数据。那么，t[:3]表示t中的前三行数据，t[:4]表示t中的前四列数据。x = t[:3] / t[:4] 表示将t的前三行数据按列进行除法运算，得到一个新的DataFrame变量x。x的行数为3，列数为4，每个元素的值为t中对应位置的值相除得到的结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值