numpy总结
numpy常用操作,创建n维数组有array和arange方法,索引操作就是一般数组的索引操作,比如n[1][1],线性代数的一些操作也非常简单,比如矩阵乘法@符号。
NumPy数组的维数称为秩(rank),一维数组的秩为1,二维数组的秩为2,以此类推。在NumPy中,每一个线性的数组称为是一个轴(axes),秩其实是描述轴的数量。比如说,二维数组相当于是一个一维数组,而这个一维数组中每个元素又是一个一维数组。所以这个一维数组就是NumPy中的轴(axes),而轴的数量——秩,就是数组的维数。
采用ndarray对象
import numpy as np #引入numpy库
#创建一维的narray对象
a = np.array([1,2,3,4,5])
#创建二维的narray对象
a2 = np.array([[1,2,3,4,5],[6,7,8,9,10]])
#创建多维对象以其类推
通过函数创建矩阵
import numpy as np
a = np.arange(10) # 默认从0开始到10(不包括10),步长为1
print(a) # 返回 [0 1 2 3 4 5 6 7 8 9]
a1 = np.arange(5,10) # 从5开始到10(不包括10),步长为1
print(a1) # 返回 [5 6 7 8 9]
a2 = np.arange(5,20,2) # 从5开始到20(不包括20),步长为2
print(a2) # 返回 [ 5 7 9 11 13 15 17 19]
import numpy as np
a = np.linspace(0,10,5) # 生成首位是0,末位是10,含5个数的等差数列
print(a)
import numpy as np
a = np.logspace(0,2,5)
print(a)
import numpy as np
a_ones = np.ones((3,4)) # 创建3*4的全1矩阵
print(a_ones)
# 结果
[[ 1. 1. 1. 1.]
[ 1. 1. 1. 1.]
[ 1. 1. 1. 1.]]
a_zeros = np.zeros((3,4)) # 创建3*4的全0矩阵
print(a_zeros)
# 结果
[[ 0. 0. 0. 0.]
[ 0. 0. 0. 0.]
[ 0. 0. 0. 0.]]
a_eye = np.eye(3) # 创建3阶单位矩阵
print(a_eye)
# 结果
[ 1. 0. 0.]
[ 0. 1. 0.]
[ 0. 0. 1.]]
a_empty = np.empty((3,4)) # 创建3*4的空矩阵
print(a_empty)
# 结果
[[ 1.78006111e-306 -3.13259416e-294 4.71524461e-309 1.94927842e+289]
[ 2.10230387e-309 5.42870216e+294 6.73606381e-310 3.82265219e-297]
[ 6.24242356e-309 1.07034394e-296 2.12687797e+183 6.88703165e-315]]
import numpy as np
def func(i,j):
return i+j
a = np.fromfunction(func,(5,6))
# 第一个参数为指定函数,第二个参数为列表list或元组tuple,说明矩阵的大小
print(a)
# 返回
[[ 0. 1. 2. 3. 4. 5.]
[ 1. 2. 3. 4. 5. 6.]
[ 2. 3. 4. 5. 6. 7.]
[ 3. 4. 5. 6. 7. 8.]
[ 4. 5. 6. 7. 8. 9.]]
#注意这里行号的列号都是从0开始的
pandas总结
两种方式:通过numpy和字典创建
方式一:通过np来生成
#生成时间序列
dates = pd.date_range('20160101', periods=6)
#index相当于索引参考数据库中的索引,即行。生成DataFrame的第一种方式:通过np来生成
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=['A','B','C','D'])
#方法1.1、通过数组创建
arr = [0, 1, 2, 3, 4]
df = pd.Series(arr) # 如果不指定索引,则默认从 0 开始
方式二:通过字典来生成
#生成DataFrame的第二种方式:通过字典生成
df2 =pd.DataFrame({'A' : 1.,
'B' : pd.Timestamp('20130102'),
'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
'D' : np.array([3] * 4,dtype='int32'),
'E' : pd.Categorical(["test","train","test","train"]),
'F' : 'foo'})
pandas常用的属性及方法
df2.dtypes
df.index:索引即行
df.columns:列
df.T:转置
df.describe():描述df的一些常用的数学值即均值、方差等。基于列来统计的
df.sort_index(axis=1, ascending=False):按行排序
df.sort_values(by=‘B’):按某一列进行排序
数据选择
选择数据的四种方法:
方法一:#通过lab(列或行标签)来选择数据
# select by label: loc
print(df.loc[:,["A","B"]])
#方法二
print(df[["A", "C"]])
方法二:#通过位置来选择数据
# select by position: iloc
#前三行数据
print(df.iloc[0:3])
# 方法二
#df.head(3)
方法三:混合选择
#结合前面两种选择数据的方法:即按标签和位置选择数据
# mixed selection: ix
#第1-3行、A和C列的数据
print(df.ix[:3, ['A', 'C']])
方法四:#通过判断选择部分数据
#添加数据
df['F'] = np.nan
练手代码
**基本操作**
import numpy as np
data = {'animal': ['cat', 'cat', 'snake', 'dog', 'dog', 'cat', 'snake', 'cat', 'dog', 'dog'],
'age': [2.5, 3, 0.5, np.nan, 5, 2, 4.5, np.nan, 7, 3],
'visits': [1, 3, 2, 3, 2, 3, 1, 1, 2, 1],
'priority': ['yes', 'yes', 'no', 'yes', 'no', 'no', 'no', 'yes', 'no', 'no']}
labels = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']
df = pd.DataFrame(data, index=labels)
1、计算每个不同种类animal的age的平均数
df.groupby('animal')['age'].mean()
2、计算df中每个种类animal的数量
df['animal'].value_counts()
3、先按age降序排列,后按visits升序排列
df.sort_values(by=['age', 'visits'], ascending=[False, True])
4、将priority列中的yes, no替换为布尔值True, False
df['priority'] = df['priority'].map({'yes': True, 'no': False})
5、将animal列中的snake替换为python
df['animal'] = df['animal'].replace('snake', 'python')
6、对每种animal的每种不同数量visits,计算平均age,即,返回一个表格,行是aniaml种类,列是visits数量,表格值是行动物种类列访客数量的平均年龄
df.pivot_table(index='animal', columns='visits', values='age', aggfunc='mean')
**进阶操作**
7、有一列整数列A的DatraFrame,删除数值重复的行
#判断是否有重复项
用duplicated()函数判断
#有重复项,则可以用drop_duplicates()移除重复项
df1 = df.drop_duplicates(subset='A')
print(df1)
8、一个全数值DatraFrame,每个数字减去该行的平均数
df = pd.DataFrame(np.random.random(size=(5, 3)))
print(df)
df1 = df.sub(df.mean(axis=1), axis=0)
print(df1)
9、一个有5列的DataFrame,求哪一列的和最小
df = pd.DataFrame(np.random.random(size=(5, 5)), columns=list('abcde'))
print(df)
df.sum().idxmin()
10、给定DataFrame,求A列每个值的前3大的B的和
df = pd.DataFrame({'A': list('aaabbcaabcccbbc'),
'B': [12,345,3,1,45,14,4,52,54,23,235,21,57,3,87]})
print(df)
df1 = df.groupby('A')['B'].nlargest(3).sum(level=0)
print(df1)
11、给定DataFrame,有列A, B,A的值在1-100(含),对A列每10步长,求对应的B的和
df = pd.DataFrame({'A': [1,2,11,11,33,34,35,40,79,99],
'B': [1,2,11,11,33,34,35,40,79,99]})
print(df)
df1 = df.groupby(pd.cut(df['A'], np.arange(0, 101, 10)))['B'].sum()
print(df1)
12、给定DataFrame,计算每个元素至左边最近的0(或者至开头)的距离,生成新列y
df = pd.DataFrame({'X': [7, 2, 0, 3, 4, 2, 5, 0, 3, 4]})
izero = np.r_[-1, (df['X'] == 0).to_numpy().nonzero()[0]] # 标记0的位置
idx = np.arange(len(df))
df['Y'] = idx - izero[np.searchsorted(izero - 1, idx) - 1]
print(df)
# 方法二
# x = (df['X'] != 0).cumsum()
# y = x != x.shift()
# df['Y'] = y.groupby((y != y.shift()).cumsum()).cumsum()
# 方法三
# df['Y'] = df.groupby((df['X'] == 0).cumsum()).cumcount()
#first_zero_idx = (df['X'] == 0).idxmax()
# df['Y'].iloc[0:first_zero_idx] += 1
13、一个全数值的DataFrame,返回最大3值的坐标
df = pd.DataFrame(np.random.random(size=(5, 3)))
print(df)
df.unstack().sort_values()[-3:].index.tolist()
14、给定DataFrame,将负值代替为同组的平均值
df = pd.DataFrame({'grps': list('aaabbcaabcccbbc'),
'vals': [-12,345,3,1,45,14,4,-52,54,23,-235,21,57,3,87]})
print(df)
def replace(group):
mask = group<0
group[mask] = group[~mask].mean()
return group
df['vals'] = df.groupby(['grps'])['vals'].transform(replace)
print(df)
15、计算3位滑动窗口的平均值,忽略NAN
df = pd.DataFrame({'group': list('aabbabbbabab'),
'value': [1, 2, 3, np.nan, 2, 3, np.nan, 1, 7, 3, np.nan, 8]})
print(df)
g1 = df.groupby(['group'])['value']
g2 = df.fillna(0).groupby(['group'])['value']
s = g2.rolling(3, min_periods=1).sum() / g1.rolling(3, min_periods=1).count()
s.reset_index(level=0, drop=True).sort_index()
**Series 和 Datetime索引**
16、创建Series s,将2015所有工作日作为随机值的索引
dti = pd.date_range(start='2015-01-01', end='2015-12-31', freq='B')
s = pd.Series(np.random.rand(len(dti)), index=dti)
s.head(10)
17、所有礼拜三的值求和
s[s.index.weekday == 2].sum()
18、求每个自然月的平均数
s.resample('M').mean()
19、每连续4个月为一组,求最大值所在的日期
s.groupby(pd.Grouper(freq='4M')).idxmax()
20、创建2015-2016每月第三个星期四的序列
pd.date_range('2015-01-01', '2016-12-31', freq='WOM-3THU')
**数据清洗**
df = pd.DataFrame({'From_To': ['LoNDon_paris', 'MAdrid_miLAN', 'londON_StockhOlm',
'Budapest_PaRis', 'Brussels_londOn'],
'FlightNumber': [10045, np.nan, 10065, np.nan, 10085],
'RecentDelays': [[23, 47], [], [24, 43, 87], [13], [67, 32]],
'Airline': ['KLM(!)', '<Air France> (12)', '(British Airways. )',
'12. Air France', '"Swiss Air"']})
df
21、FlightNumber列中有些值缺失了,他们本来应该是每一行增加10,填充缺失的数值,并且令数据类型为整数
df['FlightNumber'] = df['FlightNumber'].interpolate().astype(int)
df
22、将From_To列从_分开,分成From, To两列,并删除原始列
temp = df.From_To.str.split('_', expand=True)
temp.columns = ['From', 'To']
df = df.join(temp)
df = df.drop('From_To', axis=1)
df
23、将From, To大小写统一
df['From'] = df['From'].str.capitalize()
df['To'] = df['To'].str.capitalize()
df
24、Airline列,有一些多余的标点符号,需要提取出正确的航司名称。举例:'(British Airways. )' 应该改为 'British Airways'.
df['Airline'] = df['Airline'].str.extract('([a-zA-Z\s]+)', expand=False).str.strip()
df
25、Airline列,数据被以列表的形式录入,但是我们希望每个数字被录入成单独一列,delay_1, delay_2, …没有的用NAN替代。
delays = df['RecentDelays'].apply(pd.Series)
delays.columns = ['delay_{}'.format(n) for n in range(1, len(delays.columns)+1)]
df = df.drop('RecentDelays', axis=1).join(delays)
df
**层次化索引**
26、用 letters = ['A', 'B', 'C'] 和 numbers = list(range(10))的组合作为系列随机值的层次化索引
letters = ['A', 'B', 'C']
numbers = list(range(4))
mi = pd.MultiIndex.from_product([letters, numbers])
s = pd.Series(np.random.rand(12), index=mi)
s
27、检查s是否是字典顺序排序的
s.index.is_lexsorted()
# 方法二
# s.index.lexsort_depth == s.index.nlevels
28、选择二级索引为1, 3的行
s.loc[:, [1, 3]]
29、对s进行切片操作,取一级索引从头至B,二级索引从2开始到最后
s.loc[pd.IndexSlice[:'B', 2:]]
# 方法二
# s.loc[slice(None, 'B'), slice(2, None)]
30、计算每个一级索引的和(A, B, C每一个的和)
s.sum(level=0)
#方法二
#s.unstack().sum(axis=0)
31、交换索引等级,新的Series是字典顺序吗?不是的话请排序
new_s = s.swaplevel(0, 1)
print(new_s)
print(new_s.index.is_lexsorted())
new_s = new_s.sort_index()
print(new_s)