文章目录
一、Python基础
1. 列表推导式与条件赋值:
L = []
def my_func(x):
return 2*x
for i in range(5):
L.append(my_func(i))
L
# [0, 2, 4, 6, 8]
事实上可以利用列表推导式进行写法上的简化:[* for i in ]。其中,第一个为映射函数,其输入为后面i指代的内容,第二个*表示迭代的对象。
[my_func(i) for i in range(5)]
# [0, 2, 4, 6, 8]
列表表达式还支持多层嵌套,如下面的例子中第一个for为外层循环,第二个为内层循环:
[m+'_'+n for m in ['a', 'b'] for n in ['c', 'd']]
# ['a_c', 'a_d', 'b_c', 'b_d']
除了列表推导式,另一个实用的语法糖是带有if选择的条件赋值,其形式为value = a if condition else b:
value = 'cat' if 2>1 else 'dog'
value
# 'cat'
下面举一个例子,截断列表中超过5的元素,即超过5的用5代替,小于5的保留原来的值:
L = [1, 2, 3, 4, 5, 6, 7]
[i if i <= 5 else 5 for i in L]
# [1, 2, 3, 4, 5, 5, 5]
2.匿名函数与map方法
有一些函数的定义具有清晰简单的映射关系,例如上面的my_func函数,这时候可以用匿名函数的方法简洁地表示:
my_func = lambda x: 2*x
my_func(3)
# 6
multi_para_func = lambda a, b: a + b
multi_para_func(1, 2)
# 3
但上面的用法其实违背了“匿名”的含义,事实上它往往在无需多处调用的场合进行使用,例如上面列表推导式中的例子,用户不关心函数的名字,只关心这种映射的关系:
[(lambda x: 2*x)(i) for i in range(5)]
# [0, 2, 4, 6, 8]
对于上述的这种列表推导式的匿名函数映射,Python中提供了map函数来完成,它返回的是一个map对象,需要通过list转为列表:
list(map(lambda x: 2*x, range(5)))
# [0, 2, 4, 6, 8]
对于多个输入值的函数映射,可以通过追加迭代对象实现
list(map(lambda x, y: str(x)+'_'+y, range(5), list('abcde')))
# ['0_a', '1_b', '2_c', '3_d', '4_e']
3.zip对象与enumerate方法
zip函数能够把多个可迭代对象打包成一个元组构成的可迭代对象,它返回了一个zip对象,通过tuple, list可以得到相应的打包结果:
L1, L2, L3 = list('abc'), list('def'), list('hij')
list(zip(L1, L2, L3))
# [('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]
tuple(zip(L1, L2, L3))
# (('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j'))
往往会在循环迭代的时候使用到zip函数:
for i, j, k in zip(L1, L2, L3):
print(i, j, k)
# a d h
# b e i
# c f j
enumerate是一种特殊的打包,它可以在迭代时绑定迭代元素的遍历序号:
L = list('abcd')
for index, value in enumerate(L):
print(index, value)
# 0 a
# 1 b
# 2 c
# 3 d
用zip对象也能够简单地实现这个功能:
for index, value in zip(range(len(L)), L):
print(index, value)
# 0 a
# 1 b
# 2 c
# 3 d
当需要对两个列表建立字典映射时,可以利用zip对象:
dict(zip(L1, L2))
# {'a': 'd', 'b': 'e', 'c': 'f'}
既然有了压缩函数,那么Python也提供了*操作符和zip联合使用来进行解压操作:
zipped = list(zip(L1, L2, L3))
zipped
# [('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]
list(zip(*zipped)) # 三个元组分别对应原来的列表
# [('a', 'b', 'c'), ('d', 'e', 'f'), ('h', 'i', 'j')]
二、Numpy基础
1.np数组的构造
最一般的方法是通过array来构造
import numpy as np
np.array([1,2,3])
# array([1, 2, 3])
下面讨论一些特殊数组的生成方式:
【a】等差序列:np.linspace, np.arange
np.linspace(1,5,11) # 起始、终止(包含)、样本个数
# array([1. , 1.4, 1.8, 2.2, 2.6, 3. , 3.4, 3.8, 4.2, 4.6, 5. ])
np.arange(1,5,2) # 起始、终止(不包含)、步长
# array([1, 3])
【b】特殊矩阵:zeros, eye, full
np.zeros((2,3)) # 传入元组表示各维度大小
#array([[0., 0., 0.],
#, [0., 0., 0.]])
np.eye(3) # 3*3的单位矩阵
#array([[1., 0., 0.],
#, [0., 1., 0.],
#, [0., 0., 1.]])
np.eye(3, k=1) # 偏移主对角线1个单位的伪单位矩阵
#array([[0., 1., 0.],
#, [0., 0., 1.],
#, [0., 0., 0.]])
np.full((2,3), 10) # 元组传入大小,10表示填充数值
#array([[10, 10, 10],
#, [10, 10, 10]])
np.full((2,3), [1,2,3]) # 每行填入相同的列表
#array([[1, 2, 3],
#, [1, 2, 3]])
【c】随机矩阵:np.random
最常用的随机生成函数为rand, randn, randint, choice,它们分别表示0-1均匀分布的随机数组、标准正态的随机数组、随机整数组和随机列表抽样:
np.random.rand(3) # 生成服从0-1均匀分布的三个随机数
# array([0.92340835, 0.20019461, 0.40755472])
np.random.rand(3, 3) # 注意这里传入的不是元组,每个维度大小分开输入
# array([[0.27406232, 0.15754534, 0.20274407],
# , [0.70255975, 0.71797703, 0.29850324],
# , [0.03186549, 0.54798699, 0.93826835]])
对于服从区间a到b上的均匀分布可以如下生成:
a, b = 5, 15
(b - a) * np.random.rand(3) + a
# array([6.59370831, 8.03865138, 9.19172546])
一般的,可以选择已有的库函数:
np.random.uniform(5, 15, 3)
# array([11.26499636, 13.12311185, 6.00774156])
randn生成了N(0,I)的标准正态分布:
np.random.randn(3)
# array([ 1.87000209, 1.19885561, -0.58802943])
np.random.randn(2, 2)
# array([[-1.3642839 , -0.31497567],
# , [-1.9452492 , -3.17272882]])
randint可以指定生成随机整数的最小值最大值(不包含)和维度大小
low, high, size = 5, 15, (2,2) # 生成5到14的随机整数
np.random.randint(low, high, size)
# array([[ 5, 12],
# , [14, 9]])
choice可以从给定的列表中,以一定概率和方式抽取结果,当不指定概率时为均匀采样,默认抽取方式为有放回抽样:
my_list = ['a', 'b', 'c', 'd']
np.random.choice(my_list, 2, replace=False, p=[0.1, 0.7, 0.1 ,0.1])
# array(['b', 'a'], dtype='<U1')
np.random.choice(my_list, (3,3))
# array([['c', 'b', 'd'],
# , ['d', 'a', 'd'],
# , ['a', 'c', 'd']], dtype='<U1')
当返回的元素个数与原列表相同时,不放回抽样等价于使用permutation函数,即打散原列表:
np.random.permutation(my_list)
# array(['c', 'a', 'd', 'b'], dtype='<U1')
最后,需要提到的是随机种子,它能够固定随机数的输出结果:
np.random.seed(0)
np.random.rand()
# 0.5488135039273248
np.random.seed(0)
np.random.rand()
# 0.5488135039273248
2.np数组的变形与合并
【a】转置:T
np.zeros((2,3)).T
# array([[0., 0.],
# , [0., 0.],
# , [0., 0.]])
【b】合并操作:r_, c_
对于二维数组而言,r_和c_分别表示上下合并和左右合并:
np.r_[np.zeros((2,3)),np.zeros((2,3))]
# array([[0., 0., 0.],
# , [0., 0., 0.],
# , [0., 0., 0.],
# , [0., 0., 0.]])
np.c_[np.zeros((2,3)),np.zeros((2,3))]
# array([[0., 0., 0., 0., 0., 0.],
# , [0., 0., 0., 0., 0., 0.]])
一维数组和二维数组进行合并时,应当把其视作列向量,在长度匹配的情况下只能够使用左右合并的c_操作:
np.r_[np.array([0,0]),np.zeros(2)]
# array([0., 0., 0., 0.])
np.c_[np.array([0,0]),np.zeros((2,3))]
# array([[0., 0., 0., 0.],
# , [0., 0., 0., 0.]])
【c】维度变换:reshape
reshape能够帮助用户把原数组按照新的维度重新排列。在使用时有两种模式,分别为C模式和F模式,分别以逐行和逐列的顺序进行填充读取。
target = np.arange(8).reshape(2,4)
target
# array([[0, 1, 2, 3],
# , [4, 5, 6, 7]])
特别地,由于被调用数组的大小是确定的,reshape允许有一个维度存在空缺,此时只需填充-1即可:
target.reshape((4,-1))
# array([[0, 1],
# , [2, 3],
# , [4, 5],
# , [6, 7]])
下面将n*1大小的数组转为1维数组的操作是经常使用的:
target = np.ones((3,1))
target
# array([[1.],
# , [1.],
# , [1.]])
target.reshape(-1)
# array([1., 1., 1.])
3.np数组的切片与索引
数组的切片模式支持使用slice类型的start🔚step切片,还可以直接传入列表指定某个维度的索引进行切片:
target = np.arange(9).reshape(3,3)
target
# array([[0, 1, 2],
# , [3, 4, 5],
# , [6, 7, 8]])
target[:-1, [0,2]]
# array([[0, 2],
# , [3, 5]])
此外,还可以利用np.ix_在对应的维度上使用布尔索引,但此时不能使用slice切片:
target[np.ix_([True, False, True], [True, False, True])]
# array([[0, 2],
# , [6, 8]])
target[np.ix_([1,2], [True, False, True])]
# array([[3, 5],
# , [6, 8]])
当数组维度为1维时,可以直接进行布尔索引,而无需np.ix_:
new = target.reshape(-1)
new[new%2==0]
# array([0, 2, 4, 6, 8])
4.常用函数
【a】where
where是一种条件函数,可以指定满足条件与不满足条件位置对应的填充值:
a = np.array([-1,1,-1,0])
np.where(a>0, a, 5) # 对应位置为True时填充a对应元素,否则填充5
# array([5, 1, 5, 5])
【b】nonzero, argmax, argmin
这三个函数返回的都是索引,nonzero返回非零数的索引,argmax, argmin分别返回最大和最小数的索引:
a = np.array([-2,-5,0,1,3,-1])
np.nonzero(a)
# (array([0, 1, 3, 4, 5], dtype=int64),)
a.argmax()
# 4
a.argmin()
# 1
【c】any, all
any指当序列至少 存在一个 True或非零元素时返回True,否则返回False
all指当序列元素 全为 True或非零元素时返回True,否则返回False
a = np.array([0,1])
a.any()
# True
a.all()
# False
【d】cumprod, cumsum, diff
cumprod, cumsum分别表示累乘和累加函数,返回同长度的数组,diff表示和前一个元素做差,由于第一个元素为缺失值,因此在默认参数情况下,返回长度是原数组减1
a = np.array([1,2,3])
a.cumprod()
# array([1, 2, 6], dtype=int32)
a.cumsum()
# array([1, 3, 6], dtype=int32)
np.diff(a)
# array([1, 1])
【e】 统计函数
常用的统计函数包括max, min, mean, median, std, var, sum, quantile,其中分位数计算是全局方法,因此不能通过array.quantile的方法调用:
target = np.arange(5)
target
# array([0, 1, 2, 3, 4])
target.max()
# 4
np.quantile(target, 0.5) # 0.5分位数
# 2.0
但是对于含有缺失值的数组,它们返回的结果也是缺失值,如果需要略过缺失值,必须使用nan类型的函数,上述的几个统计函数都有对应的nan函数。
target = np.array([1, 2, np.nan])
target
# array([ 1., 2., nan])
target.max()
# nan
np.nanmax(target)
# 2.0
np.nanquantile(target, 0.5)
# 1.5
对于协方差和相关系数分别可以利用cov, corrcoef如下计算
target1 = np.array([1,3,5,9])
target2 = np.array([1,5,3,-9])
np.cov(target1, target2)
# array([[ 11.66666667, -16.66666667],
# , [-16.66666667, 38.66666667]])
np.corrcoef(target1, target2)
# array([[ 1. , -0.78470603],
# , [-0.78470603, 1. ]])
最后,需要说明二维Numpy数组中统计函数的axis参数,它能够进行某一个维度下的统计特征计算,当axis=0时结果为列的统计指标,当axis=1时结果为行的统计指标:
target = np.arange(1,10).reshape(3,-1)
target
# array([[1, 2, 3],
# , [4, 5, 6],
# , [7, 8, 9]])
target.sum(0)
# array([12, 15, 18])
target.sum(1)
# array([ 6, 15, 24])
5.广播机制
广播机制用于处理两个不同维度数组之间的操作,这里只讨论不超过两维的数组广播机制。
【a】标量和数组的操作
res = 3 * np.ones((2,2)) + 1
res
# array([[4., 4.],
# , [4., 4.]])
res = 1 / res
res
# array([[0.25, 0.25],
# , [0.25, 0.25]])
【b】二维数组之间的操作
res = np.ones((3,2))
res
# array([[1., 1.],
# , [1., 1.],
# , [1., 1.]])
res * np.array([[2,3]]) # 第二个数组扩充第一维度为3
# array([[2., 3.],
# , [2., 3.],
# , [2., 3.]])
res * np.array([[2],[3],[4]]) # 第二个数组扩充第二维度为2
# array([[2., 2.],
# , [3., 3.],
# , [4., 4.]])
res * np.array([[2]]) # 等价于两次扩充,第二个数组两个维度分别扩充为3和2
# rray([[2., 2.],
# , [2., 2.],
# , [2., 2.]])
【c】一维数组与二维数组的操作
np.ones(3) + np.ones((2,3))
# array([[2., 2., 2.],
# , [2., 2., 2.]])
np.ones(3) + np.ones((2,1))
# array([[2., 2., 2.],
# , [2., 2., 2.]])
np.ones(1) + np.ones((2,3))
# array([[2., 2., 2.],
# , [2., 2., 2.]])
6.向量与矩阵的计算
【a】向量内积:dot
a = np.array([1,2,3])
b = np.array([1,3,5])
a.dot(b)
# 22
【b】矩阵乘法:@
a = np.arange(4).reshape(-1,2)
a
# array([[0, 1],
# , [2, 3]])
b = np.arange(-4,0).reshape(-1,2)
b
# array([[-4, -3],
# , [-2, -1]])
a@b
# array([[ -2, -1],
# , [-14, -9]])
参考:阿里云天池