学习Pandas(七)

最新推荐文章于 2021-03-20 22:12:22 发布
最新推荐文章于 2021-03-20 22:12:22 发布
阅读量474 收藏
点赞数
分类专栏： Python Pandas 文章标签： python
> 英文原文: [07 - Lesson](http://nbviewer.ipython.org/urls/bitbucket.org/hrojas/learn-pandas/raw/master/lessons/07%20-%20Lesson.ipynb)

离群值 (Outlier)

import pandas as pd
import sys
print('Python version ' + sys.version)
print('Pandas version ' + pd.__version__)
    Python version 3.6.1 | packaged by conda-forge | (default, Mar 23 2017, 21:57:00) 
    [GCC 4.2.1 Compatible Apple LLVM 6.1.0 (clang-602.0.53)]
    Pandas version 0.19.2
# 创建一个 dataframe，用日期作为索引
States = ['NY', 'NY', 'NY', 'NY', 'FL', 'FL', 'GA', 'GA', 'FL', 'FL'] 
data = [1.0, 2, 3, 4, 5, 6, 7, 8, 9, 10]
idx = pd.date_range('1/1/2012', periods=10, freq='MS')
df1 = pd.DataFrame(data, index=idx, columns=['Revenue'])
df1['State'] = States

# 创建第二个 dataframe
data2 = [10.0, 10.0, 9, 9, 8, 8, 7, 7, 6, 6]
idx2 = pd.date_range('1/1/2013', periods=10, freq='MS')
df2 = pd.DataFrame(data2, index=idx2, columns=['Revenue'])
df2['State'] = States
# 把两个 dataframe 合并起来
df = pd.concat([df1,df2])
df
RevenueState
2012-01-011.0NY
2012-02-012.0NY
2012-03-013.0NY
2012-04-014.0NY
2012-05-015.0FL
2012-06-016.0FL
2012-07-017.0GA
2012-08-018.0GA
2012-09-019.0FL
2012-10-0110.0FL
2013-01-0110.0NY
2013-02-0110.0NY
2013-03-019.0NY
2013-04-019.0NY
2013-05-018.0FL
2013-06-018.0FL
2013-07-017.0GA
2013-08-017.0GA
2013-09-016.0FL
2013-10-016.0FL

计算离群值的方法

注意: 均值(average)和标准差(Standard Deviation)只对高斯分布(gaussian distribution)有意义。

# 方法 1

# 原始的 df 拷贝一份
newdf = df.copy()

newdf['x-Mean'] = abs(newdf['Revenue'] - newdf['Revenue'].mean())
newdf['1.96*std'] = 1.96*newdf['Revenue'].std()  
newdf['Outlier'] = abs(newdf['Revenue'] - newdf['Revenue'].mean()) > 1.96*newdf['Revenue'].std()
newdf
RevenueStatex-Mean1.96*stdOutlier
2012-01-011.0NY5.755.200273True
2012-02-012.0NY4.755.200273False
2012-03-013.0NY3.755.200273False
2012-04-014.0NY2.755.200273False
2012-05-015.0FL1.755.200273False
2012-06-016.0FL0.755.200273False
2012-07-017.0GA0.255.200273False
2012-08-018.0GA1.255.200273False
2012-09-019.0FL2.255.200273False
2012-10-0110.0FL3.255.200273False
2013-01-0110.0NY3.255.200273False
2013-02-0110.0NY3.255.200273False
2013-03-019.0NY2.255.200273False
2013-04-019.0NY2.255.200273False
2013-05-018.0FL1.255.200273False
2013-06-018.0FL1.255.200273False
2013-07-017.0GA0.255.200273False
2013-08-017.0GA0.255.200273False
2013-09-016.0FL0.755.200273False
2013-10-016.0FL0.755.200273False
# 方法 2
# 分组的方法

# 原始的 df 拷贝一份
newdf = df.copy()

State = newdf.groupby('State')

newdf['Outlier'] = State.transform( lambda x: abs(x-x.mean()) > 1.96*x.std() )
newdf['x-Mean'] = State.transform( lambda x: abs(x-x.mean()) )
newdf['1.96*std'] = State.transform( lambda x: 1.96*x.std() )
newdf
RevenueStateOutlierx-Mean1.96*std
2012-01-011.0NYFalse5.007.554813
2012-02-012.0NYFalse4.007.554813
2012-03-013.0NYFalse3.007.554813
2012-04-014.0NYFalse2.007.554813
2012-05-015.0FLFalse2.253.434996
2012-06-016.0FLFalse1.253.434996
2012-07-017.0GAFalse0.250.980000
2012-08-018.0GAFalse0.750.980000
2012-09-019.0FLFalse1.753.434996
2012-10-0110.0FLFalse2.753.434996
2013-01-0110.0NYFalse4.007.554813
2013-02-0110.0NYFalse4.007.554813
2013-03-019.0NYFalse3.007.554813
2013-04-019.0NYFalse3.007.554813
2013-05-018.0FLFalse0.753.434996
2013-06-018.0FLFalse0.753.434996
2013-07-017.0GAFalse0.250.980000
2013-08-017.0GAFalse0.250.980000
2013-09-016.0FLFalse1.253.434996
2013-10-016.0FLFalse1.253.434996
# 方法 2
# 多个条件分组

# 原始 df 拷贝一份
newdf = df.copy()

StateMonth = newdf.groupby(['State', lambda x: x.month])

newdf['Outlier'] = StateMonth.transform( lambda x: abs(x-x.mean()) > 1.96*x.std() )
newdf['x-Mean'] = StateMonth.transform( lambda x: abs(x-x.mean()) )
newdf['1.96*std'] = StateMonth.transform( lambda x: 1.96*x.std() )
newdf
RevenueStateOutlierx-Mean1.96*std
2012-01-011.0NYFalse4.512.473364
2012-02-012.0NYFalse4.011.087434
2012-03-013.0NYFalse3.08.315576
2012-04-014.0NYFalse2.56.929646
2012-05-015.0FLFalse1.54.157788
2012-06-016.0FLFalse1.02.771859
2012-07-017.0GAFalse0.00.000000
2012-08-018.0GAFalse0.51.385929
2012-09-019.0FLFalse1.54.157788
2012-10-0110.0FLFalse2.05.543717
2013-01-0110.0NYFalse4.512.473364
2013-02-0110.0NYFalse4.011.087434
2013-03-019.0NYFalse3.08.315576
2013-04-019.0NYFalse2.56.929646
2013-05-018.0FLFalse1.54.157788
2013-06-018.0FLFalse1.02.771859
2013-07-017.0GAFalse0.00.000000
2013-08-017.0GAFalse0.51.385929
2013-09-016.0FLFalse1.54.157788
2013-10-016.0FLFalse2.05.543717
# 方法 3
# 分组的方法

# 原始 df 拷贝一份
newdf = df.copy()

State = newdf.groupby('State')

def s(group):
    group['x-Mean'] = abs(group['Revenue'] - group['Revenue'].mean())
    group['1.96*std'] = 1.96*group['Revenue'].std()  
    group['Outlier'] = abs(group['Revenue'] - group['Revenue'].mean()) > 1.96*group['Revenue'].std()
    return group

Newdf2 = State.apply(s)
Newdf2
RevenueStatex-Mean1.96*stdOutlier
2012-01-011.0NY5.007.554813False
2012-02-012.0NY4.007.554813False
2012-03-013.0NY3.007.554813False
2012-04-014.0NY2.007.554813False
2012-05-015.0FL2.253.434996False
2012-06-016.0FL1.253.434996False
2012-07-017.0GA0.250.980000False
2012-08-018.0GA0.750.980000False
2012-09-019.0FL1.753.434996False
2012-10-0110.0FL2.753.434996False
2013-01-0110.0NY4.007.554813False
2013-02-0110.0NY4.007.554813False
2013-03-019.0NY3.007.554813False
2013-04-019.0NY3.007.554813False
2013-05-018.0FL0.753.434996False
2013-06-018.0FL0.753.434996False
2013-07-017.0GA0.250.980000False
2013-08-017.0GA0.250.980000False
2013-09-016.0FL1.253.434996False
2013-10-016.0FL1.253.434996False
# 方法 3
# 多个条件分组

# 原始 df 拷贝一份
newdf = df.copy()

StateMonth = newdf.groupby(['State', lambda x: x.month])

def s(group):
    group['x-Mean'] = abs(group['Revenue'] - group['Revenue'].mean())
    group['1.96*std'] = 1.96*group['Revenue'].std()  
    group['Outlier'] = abs(group['Revenue'] - group['Revenue'].mean()) > 1.96*group['Revenue'].std()
    return group

Newdf2 = StateMonth.apply(s)
Newdf2
RevenueStatex-Mean1.96*stdOutlier
2012-01-011.0NY4.512.473364False
2012-02-012.0NY4.011.087434False
2012-03-013.0NY3.08.315576False
2012-04-014.0NY2.56.929646False
2012-05-015.0FL1.54.157788False
2012-06-016.0FL1.02.771859False
2012-07-017.0GA0.00.000000False
2012-08-018.0GA0.51.385929False
2012-09-019.0FL1.54.157788False
2012-10-0110.0FL2.05.543717False
2013-01-0110.0NY4.512.473364False
2013-02-0110.0NY4.011.087434False
2013-03-019.0NY3.08.315576False
2013-04-019.0NY2.56.929646False
2013-05-018.0FL1.54.157788False
2013-06-018.0FL1.02.771859False
2013-07-017.0GA0.00.000000False
2013-08-017.0GA0.51.385929False
2013-09-016.0FL1.54.157788False
2013-10-016.0FL2.05.543717False

假设是一个非高斯分布 (如果你绘制出图形，看上去不像是一个正态分布)

# 原始的 df 拷贝一份
newdf = df.copy()

State = newdf.groupby('State')

newdf['Lower'] = State['Revenue'].transform( lambda x: x.quantile(q=.25) - (1.5*(x.quantile(q=.75)-x.quantile(q=.25))) )
newdf['Upper'] = State['Revenue'].transform( lambda x: x.quantile(q=.75) + (1.5*(x.quantile(q=.75)-x.quantile(q=.25))) )
newdf['Outlier'] = (newdf['Revenue'] < newdf['Lower']) | (newdf['Revenue'] > newdf['Upper']) 
newdf
RevenueStateLowerUpperOutlier
2012-01-011.0NY-7.00019.000False
2012-02-012.0NY-7.00019.000False
2012-03-013.0NY-7.00019.000False
2012-04-014.0NY-7.00019.000False
2012-05-015.0FL2.62511.625False
2012-06-016.0FL2.62511.625False
2012-07-017.0GA6.6257.625False
2012-08-018.0GA6.6257.625True
2012-09-019.0FL2.62511.625False
2012-10-0110.0FL2.62511.625False
2013-01-0110.0NY-7.00019.000False
2013-02-0110.0NY-7.00019.000False
2013-03-019.0NY-7.00019.000False
2013-04-019.0NY-7.00019.000False
2013-05-018.0FL2.62511.625False
2013-06-018.0FL2.62511.625False
2013-07-017.0GA6.6257.625False
2013-08-017.0GA6.6257.625False
2013-09-016.0FL2.62511.625False
2013-10-016.0FL2.62511.625False
.NET跨平台
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python：异常值检测箱型图（附：正态分布3σ）
weixin_42089281的博客
05-04 5835
异常值检测的方法有很多，通过数据分布图型寻找异常值、算法模型（聚类、随机森林等），我这里就是记录一下工作中做初步的数据探查时用到的箱型图检测和正态分布检测，这两种都是根据数据分布情况来识别异常值的，没有结合到业务的层面，在做初步的探查时还是高效且适用的。因为正态分布3σ的异常值检测需要数据符合正态分布，现实情况中大部分数据都是杂乱无章的，因此重点使用的是箱型图检测。 1.箱型图的优势 （1）准确稳定地描绘出数据的离散分布情况且不需要服从特定的分布形式 箱形图的绘制依靠实际数据，不需要事...
python生成正态分布函数_python 生成正态分布数据,并绘图和解析
weixin_39725650的博客
12-21 7131
1、生成正态分布数据并绘制概率分布图import pandas as pdimport numpy as npimport matplotlib.pyplot as plt# 根据均值、标准差,求指定范围的正态分布概率值def normfun(x, mu, sigma):pdf = np.exp(-((x - mu)**2)/(2*sigma**2)) / (sigma * np.sqrt(2*n...
Pandas-常用统计分析方法 describe、quantile、sum、mean、median、count、max、min、idxmax、idxmin、mad、var、std、cumsum
u011868279的博客
03-20 6617
理论： describe()：快速查看每列数据的统计信息，以下是可以输出的统计指标 count，数据个数（非空数据） mean，均值 std，标准差 min，最小值 25%，第1四分位数，即第25百分位数 50%，第2四分位数，即第50百分位数 75%，第3四分位数，即第75百分位数 max，最大值 quantile(q)： 输出指定位置的百分位数，默认q=0.5，q的范围是[0,1] 常用统计方法： sum()，求和 mean()，求均值 median()，求中位数 .
分位数（quantile）与分位函数（quantile function）
热门推荐
rising_fallmoon的专栏
02-12 6万+
分位函数 对于一个连续且单调的的分布函数，例如关于随机变量X的累计分布函数F，设有一概率p（0 亦即。 当分布函数F是连续函数时，更有。 分位数 分位数，也即分布函数中的分位点，是分位函数返回的值。 【转载请注明作者rising_fallmoon及出处http://blog.csdn.net/rising_fallmoon】 【本文部分内容参考
必须整得明明白白——pandas df.quantile()
smart boy
01-26 6994
pd.DataFrame(np.array([[1, 1], [2, 10], [3, 100], [4, 100]]), columns=[‘a’, ‘b’]).quantile([.1,.2,.3,.4, .5,.6,.7,.8]) a b 0.1 1.3 3.7 0.2 1.6 6.4 0.3 1.9 9.1 0.4 2.2 28.0 0.5 2.5 55.0 0.6 2.8 82....
机器学习 诊断型案例分析 python pandas
03-21
python机器学习算法（Random Forest、LightGBM、XGBoost），pandas数据分析，完整的案例分析。 python机器学习算法（Random Forest、LightGBM、XGBoost），pandas数据分析。 完整的案例分析。包括：问题界定（议题树...
pandas学习笔记
12-13
**Pandas学习笔记** 在数据科学领域，Python的Pandas库是不可或缺的工具，它为数据分析提供了强大且灵活的数据结构，如DataFrame和Series。Pandas的易用性和高性能使其成为初学者和专业数据科学家的首选。这篇笔记...
pandas官方文档中文版.pdf_pandas_
09-29
**Pandas：数据分析的核心工具** ...这个官方文档中文版详细介绍了Pandas的各种功能和用法，是学习Pandas的宝贵资源。通过深入阅读和实践，你可以掌握处理数据的核心技能，提升数据分析的效率和质量。
pandas中文文档
12-23
这个文档集合包含了Pandas官方文档的全部内容，针对中文用户特别优化，便于理解和学习。 一、DataFrame与Series 1. **DataFrame**：DataFrame是Pandas的核心数据结构，它类似于二维表格，具有列名和行索引。...
pandas教学详细课件
最新发布
03-23
### pandas教学详细知识点...通过上述知识点的学习，我们可以了解到pandas是一个功能强大且易用的数据分析库，它极大地简化了数据预处理、清洗、分析以及可视化的整个流程，是进行数据科学项目不可或缺的重要工具之一。
python dataframe 分位数_DataFrame：添加值为现有列的分位数/列组的列？
weixin_39588223的博客
01-28 1289
可以对现有列使用q=[0.25，0.5，0.75]的DataFrame.quantile来生成四分位列。然后，您可以DataFrame.rank在那个四分位列上。有关添加四分位列的示例，请参见以下内容：import pandas as pdd = {'one' : pd.Series([40., 45., 50., 55, 60, 65], index=['val1', 'val2', 'val3...
四分位数与pandas中的quantile函数
yhjbox的博客
05-23 1万+
四分位数与pandas中的quantile函数 1.分位数概念 统计学上的有分位数这个概念，一般用p来表示。原则上p是可以取0到1之间的任意值的。但是有一个四分位数是p分位数中较为有名的。 所谓四分位数；即把数值由小到大排列并分成四等份，处于三个分割点位置的数值就是四分位数。 为了更一般化，在计算的过程中，我们考虑p分位。当p=0.25 0.5 0.75 时，就是在计算四分位数。 第1四分位数 (Q1)，又称“较小四分位数”，等于该样本中所有数值由小到大排列后第25%的数字。 第2四分位数 (Q2)，又称
分位函数（四分位数）概念与pandas中的quantile函数
weixin_34253539的博客
05-18 2516
p分位函数（四分位数）概念与pandas中的quantile函数 函数原型 DataFrame.quantile(q=0.5, axis=0, numeric_only=True, interpolation=’linear’) 参数 - q : float or array-like, default 0.5 (50% quantile 即中位数-第2四分位数) ...
数据分析与挖掘建模实战总结
aggressive2019
03-07 1713
1.理论铺垫： 集中趋势：均值、中位数、分位数、众数 离中趋势：标准差、方差 数据分布：偏态与峰态、正态分布与三大分布 抽样理论：抽样误差、抽样精度 四分位数计算方法： Q1:的位置=（n+1）*0.25 Q2:的位置=（n+1）*0.5 Q3:的位置=（n+1）*0.75 import pandas as pd df=pd.read_csv("HR.csv") df.head(10) type(df) # 数据结构为DataFrame type(df["satisfaction_level"]) #
python数据分析与建模实现-第一次笔记
py粉的博客
08-04 2万+
python数据分析与建模实现-第一次笔记 第一次写博客，有什么不好的希望大家能谅解，也希望大家能喜欢。 - 1.数据的读取 - 2.数据简单的分析 - 3.利用四分位数来去除异常值 - 4.静态结构分析 - 5.数据分区间 - 6.英文异常值数据的处理 - 7.对比分析 1.数据的读取 （1）读取模块 Import pandas as pd Import num...
quantile() 函数
Wei Junyan's blog
06-27 2万+
Series.quantile(q=0.5, interpolation='linear')[source]Parameters:q : float or array-like, default 0.5 (50% quantile)0 &lt;= q &lt;= 1, the quantile(s) to computeinterpolation : {‘linear’, ‘lower’, ‘hi...
Python解释数学系列——分位数Quantile
weixin_30535913的博客
10-19 4915
跳转到我的博客 1. 分位数计算案例与Python代码 案例1 Ex1： Given a data = [6, 47, 49, 15, 42, 41, 7, 39, 43, 40, 36]，求Q1, Q2, Q3, IQR Solving： 步骤： 1. 排序，从小到大排列data，data = [6, 7, 15, 36, 39, 40, 41, 42, 43, 47, 49] 2. ...
Pandas教程——(七)
小白一直白
05-31 345
本次教程你将学会以下几点： 创建数据 离散值的计算 导包 import pandas as pd import sys 创建数据 使用pd.concat()方法将多个DataFrame连接起来，默认是外连接，即取并集。参考博客 # Create a dataframe with dates as your index States = ['NY', 'NY', 'NY', 'NY'...
Pandas系列学习教程(七）
沧海难寻
10-14 214
import pandas as pd import sys print('Python version ' + sys.version) print('Pandas version ' + pd.__version__) Python version 3.6.5 |Anaconda, Inc.| (default, Apr 29 2018, 16:14:56) [GCC 7.2.0] Pa...
学习Pandas官方教程，十分钟搞定Pandas。
总而言之，pandas官方文档中文版详细介绍了pandas的各种功能和方法，对于希望学习和掌握pandas的人来说，是一份非常有价值的参考资料。通过阅读官方文档，可以全面地了解pandas的特性和用法，提高数据处理和分析的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值