import pandas as pd
import numpy as np
df = pd.DataFrame([[1.4, np.nan], [7.1, -4.5],
[np.nan, np.nan], [0.75, -1.3]],
index=['a', 'b', 'c', 'd'],
columns=['one', 'two'])
df
使用sum的话,会返回一个series: #NA值不参与计算
df.sum()
使用axis='columns'
or axis=1
,计算列之间的和:
#计算行之间的和 df.sum(axis=0)
#统计计算可以指定轴计算,当然也可以指定轴上的某行某列
计算第一列的数据: df['one'].sum()
计算第一行的数据:df.iloc[0,0:].sum()
df.sum(axis='columns')
计算的时候,NA(即缺失值)会被除外,除非整个切片全是NA。我们可以用skipna来跳过计算NA:
df.mean(axis='columns', skipna=False)
一些reduction方法:
一些方法,比如idxmin和idxmax,能返回间接的统计值,比如index value:
#返回列的特征值的索引
df
df.idxmax()
还能计算累加值: #忽略NAN值
df.cumsum()
另一种类型既不是降维,也不是累加。describe能一下子产生多维汇总数据: #NAN值不计入在内
df.describe()
对于非数值性的数据,describe能产生另一种汇总统计:
obj = pd.Series(['a', 'a', 'b', 'c'] * 4)
obj
obj.describe()
conda install pandas-datareader
import pandas_datareader.data as web
all_data = {ticker: web.get_data_yahoo(ticker)
for ticker in ['AAPL', 'IBM', 'MSFT', 'GOOG']}
price = pd.DataFrame({ticker: data['Adj Close']
for ticker, data in all_data.items()})
volumn = pd.DataFrame({ticker: data['Volumn']
for ticker, data in all_data.items()})
上面的代码无法直接从yahoo上爬取数据,因为yahoo被verizon收购后,好像是不能用了。于是这里我们直接从下好的数据包里加载。
ls ../examples/
price = pd.read_pickle('../examples/yahoo_price.pkl')
volume = pd.read_pickle('../examples/yahoo_volume.pkl')
price.head()
volume.head()
pct_change(): 这个函数用来计算同colnums两个相邻的数字之间的变化率
现在我们计算一下价格百分比的变化:
returns = price.pct_change()
returns.tail()
series的corr方法计算两个,重合的,非NA的,通过index排列好的series。cov计算方差:
returns['MSFT'].corr(returns['IBM'])
returns['MSFT'].cov(returns['IBM'])
因为MSFT是一个有效的python属性,我们可以通过更简洁的方式来选中columns:
returns.MSFT.corr(returns.IBM)
dataframe的corr和cov方法,能返回一个完整的相似性或方差矩阵:
returns.corr()
returns.cov()
用Dataframe的corrwith方法,我们可以计算dataframe中不同columns之间,或row之间的相似性。传递一个series:
returns.corrwith(returns.IBM)
传入一个dataframe能计算匹配的column names质监局的相似性。这里我计算vooumn中百分比变化的相似性:
returns.corrwith(volume)
obj = pd.Series(['c', 'a', 'd', 'a', 'a', 'b', 'b', 'c', 'c'])
第一个函数时unique,能告诉我们series里unique values有哪些:
uniques = obj.unique()
uniques
返回的unique values不是有序的,但我们可以排序,uniques.sort()。相对的,value_counts能计算series中值出现的频率:
obj.value_counts()
返回的结果是按降序处理的。vaule_counts也是pandas中的方法,能用在任何array或sequence上:
pd.value_counts(obj.values, sort=False)
isin 能实现一个向量化的集合成员关系检查,能用于过滤数据集,检查一个子集,是否在series的values中,或在dataframe的column中:
obj
mask = obj.isin(['b', 'c'])
mask
obj[mask]
与isin相对的另一个方法是Index.get_indexer,能返回一个index array,告诉我们有重复值的values(to_match),在非重复的values(unique_vals)中对应的索引值:
to_match = pd.Series(['c', 'a', 'b', 'b', 'c', 'a'])
unique_vals = pd.Series(['c', 'b', 'a'])
pd.Index(unique_vals).get_indexer(to_match)
Unique, value counts, and set membership methods:
在某些情况下,你可能想要计算一下dataframe中多个column的柱状图:
data = pd.DataFrame({'Qu1': [1, 3, 4, 3, 4],
'Qu2': [2, 3, 1, 2, 3],
'Qu3': [1, 5, 2, 4, 4]})
data
把padas.value_counts传递给dataframe的apply函数:
result = data.apply(pd.value_counts)
result
每一行的laebls(即1,2,3,4,5)其实就是整个data里出现过的值,从1到5。而对应的每个方框里的值,则是表示该值在当前列中出现的次数。比如,(2, Qu1)的值是Nan,说明2这个数字没有在Qu1这一列出现过。(2, Qu2)的值是2,说明2这个数字在Qu2这一列出现过2次。(2, Qu3)的值是1,说明2这个数字在Qu3这一列出现过1次。