1.1 Python基础
文章目录
1.1.1 列表推导式与条件赋值
- 生成数字序列
In [1]: L = []
In [2]: def my_func(x):
...: return 2*x
In [3]: for i in range(5):
...: L.append(my_func(i))
In [4]: L
Out[4]: [0, 2, 4, 6, 8]
- 写法简化:
[* for i in *]
其中,第一个*
为映射函数,其输入为后面i
指代的内容,第二个*
表示迭代的对象
In [5]: [my_func(i) for i in range(5)]
Out[5]: [0, 2, 4, 6, 8]
- 多层嵌套
In [6]: [m+'_'+n for m in ['a', 'b'] for n in ['c', 'd']]
Out[6]: ['a_c', 'a_d', 'b_c', 'b_d']
- 第一个
for
为外层循环,第二个为内层循环
- 条件赋值
In [7]: value = 'cat' if 2>1 else 'dog'
In [8]: value
Out[8]: 'cat'
- 等价于:
a, b = 'cat', 'dog'
condition = 2 > 1 # 此时为True
if condition:
value = a
else:
value = b
- 举例(截断列表中超过5的元素,即超过5的用5代替,小于5的保留原来的值)
In [9]: L = [1, 2, 3, 4, 5, 6, 7]
In [10]: [i if i <= 5 else 5 for i in L]
Out[10]: [1, 2, 3, 4, 5, 5, 5]
1.1.2 匿名函数与map方法
- 匿名函数
In [11]: my_func = lambda x: 2*x
In [12]: my_func(3)
Out[12]: 6
In [13]: multi_para_func = lambda a, b: a + b
In [14]: multi_para_func(1, 2)
Out[14]: 3
- 用法其实违背“匿名”的含义,常在无需多处调用的场合进行使用
- 例如上面列表推导式中的例子,用户不关心函数的名字,只关心这种映射的关系
In [15]: [(lambda x: 2*x)(i) for i in range(5)]
Out[15]: [0, 2, 4, 6, 8]
map
函数返回map
对象,需要通过list
转为列表
In [16]: list(map(lambda x: 2*x, range(5)))
Out[16]: [0, 2, 4, 6, 8]
- 对于多个输入值的函数映射,可以通过追加迭代对象实现
In [17]: list(map(lambda x, y: str(x)+'_'+y, range(5), list('abcde')))
Out[17]: ['0_a', '1_b', '2_c', '3_d', '4_e']
1.1.3 zip对象与enumerate方法
- zip函数能够把多个可迭代对象打包成一个元组构成的可迭代对象
- 返回了一个
zip
对象,通过tuple, list
可以得到相应的打包结果
In [18]: L1, L2, L3 = list('abc'), list('def'), list('hij')
In [19]: list(zip(L1, L2, L3))
Out[19]: [('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]
In [20]: tuple(zip(L1, L2, L3))
Out[20]: (('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j'))
- 在循环迭代时经常使用到
zip
函数
In [21]: for i, j, k in zip(L1, L2, L3):
....: print(i, j, k)
....:
a d h
b e i
c f j
enumerate
是一种特殊的打包,它可以在迭代时绑定迭代元素的遍历序号
In [22]: L = list('abcd')
In [23]: for index, value in enumerate(L):
....: print(index, value)
....:
0 a
1 b
2 c
3 d
- 用
zip
对象也能简单地实现,迭代时绑定迭代元素遍历序号的功能
In [24]: for index, value in zip(range(len(L)), L):
....: print(index, value)
....:
0 a
1 b
2 c
3 d
- 当需要对两个列表建立字典映射时,可以利用
zip
对象
In [25]: dict(zip(L1, L2))
Out[25]: {'a': 'd', 'b': 'e', 'c': 'f'}
Python
也提供了*
操作符和zip
联合使用来进行解压操作
In [26]: zipped = list(zip(L1, L2, L3))
In [27]: zipped
Out[27]: [('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]
In [28]: list(zip(*zipped)) # 三个元组分别对应原来的列表
Out[28]: [('a', 'b', 'c'), ('d', 'e', 'f'), ('h', 'i', 'j')]
1.2 Numpy基础
1.2.1 np数组的构造
- 一般方法
In [29]: import numpy as np
In [30]: np.array([1,2,3])
Out[30]: array([1, 2, 3])
-
numpy.empty()
:创建一个没有任何具体值的ndarray数组
np.empty(shape, dtype=float, order='C')
根据给定的维度和数值类型返回一个新的数组,其元素不进行初始化-
shape:返回空数组的维度
dtype:指定输出数组的数值类型
order:是否在内存中以C或fortran(行或列)顺序存储多维数据
-
- 特殊数组
- 等差序列:
np.linspace, np.arange
In [31]: np.linspace(1,5,11) # 起始、终止(包含)、样本个数
Out[31]: array([1. , 1.4, 1.8, 2.2, 2.6, 3. , 3.4, 3.8, 4.2, 4.6, 5. ])
In [32]: np.arange(1,5,2) # 起始、终止(不包含)、步长
Out[32]: array([1, 3])
- 特殊矩阵:
zeros, eye, full
In [33]: np.zeros((2,3)) # 传入元组表示各维度大小
Out[33]:
array([[0., 0., 0.],
[0., 0., 0.]])
In [34]: np.eye(3) # 3*3的单位矩阵
Out[34]:
array([[1., 0., 0.],
[0., 1., 0.],
[0., 0., 1.]])
In [35]: np.eye(3, k=1) # 偏移主对角线1个单位的伪单位矩阵
Out[35]:
array([[0., 1., 0.],
[0., 0., 1.],
[0., 0., 0.]])
In [36]: np.full((2,3), 10) # 元组传入大小,10表示填充数值
Out[36]:
array([[10, 10, 10],
[10, 10, 10]])
In [37]: np.full((2,3), [1,2,3]) # 每行填入相同的列表
Out[37]:
array([[1, 2, 3],
[1, 2, 3]])
- 随机矩阵:
np.random
最常用的随机生成函数为 :
rand
:0-1均匀分布的随机数组randn
:标准正态的随机数组randint
:随机整数组choice
:随机列表抽样
In [38]: np.random.rand(3) # 生成服从0-1均匀分布的三个随机数
Out[38]: array([0.99390903, 0.25854328, 0.13560598])
In [39]: np.random.rand(3, 3) # 注意这里传入的不是元组,每个维度大小分开输入
Out[39]:
array([[0.62634822, 0.06747959, 0.76049576],
[0.21826591, 0.71708638, 0.98481069],
[0.38071365, 0.82645691, 0.25598288]])
- 均匀分布
- 对于服从区间 a a a 到 b b b 上的均匀分布可以这样表示:
In [40]: a, b = 5, 15
In [41]: (b - a) * np.random.rand(3) + a
Out[41]: array([ 6.40061821, 6.72343487, 10.49412407])
- 还可以选择已有的库函数表示(服从区间 a a a 到 b b b 上的均匀分布):
In [42]: np.random.uniform(5, 15, 3)
Out[42]: array([11.10830186, 7.35193797, 8.46971257])
- 用
randn
生成 N ( 0 , I ) N(0,I) N(0,I) 的标准正态分布:
In [43]: np.random.randn(3)
Out[43]: array([ 1.2642241 , -1.04640246, 0.05297258])
In [44]: np.random.randn(2, 2)
Out[44]:
array([[2.65755302, 0.12266858],
[0.29899713, 0.40504878]])
- 服从方差为 σ 2 σ^2 σ2 均值为 μ μ μ 的一元正态分布:
In [45]: sigma, mu = 2.5, 3
In [46]: mu + np.random.randn(3) * sigma
Out[46]: array([6.46031228, 0.57297935, 5.2692226 ])
- 选择从已有函数表示(服从方差为 σ 2 σ^2 σ2 均值为 μ μ μ 的一元正态分布):
In [47]: np.random.normal(3, 2.5, 3)
Out[47]: array([2.72546019, 7.42390272, 3.71079215])
randint
可以指定生成随机整数的最小值最大值(不包含)和维度大小
In [48]: low, high, size = 5, 15, (2,2) # 生成5到14的随机整数
In [49]: np.random.randint(low, high, size)
Out[49]:
array([[6, 10],
[11, 11]])
- 抽样
choice
可以从给定的列表中,以一定概率和方式抽取结果,当不指定概率时为均匀采样,默认抽取方式为有放回抽样
In [50]: my_list = ['a', 'b', 'c', 'd']
In [51]: np.random.choice(my_list, 2, replace=False, p=[0.1, 0.7, 0.1 ,0.1])
Out[51]: array(['b', 'd'], dtype='<U1')
In [52]: np.random.choice(my_list, (3,3))
Out[52]:
array([['a', 'b', 'b'],
['a', 'a', 'b'],
['c', 'c', 'b']], dtype='<U1')
- 当返回的元素个数与原列表相同时,不放回抽样等价于使用
permutation
函数,即打散原列表
In [53]: np.random.permutation(my_list)
Out[53]: array(['b', 'd', 'a', 'c'], dtype='<U1')
- 随机种子
- 固定随机数的输出结果
In [54]: np.random.seed(0)
In [55]: np.random.rand()
Out[55]: 0.5488135039273248
In [56]: np.random.seed(0)
In [57]: np.random.rand()
Out[57]: 0.5488135039273248
1.2.2 np数组的常用计算
- 数组与标量之间可以直接进行运算
- 一元函数运算
np.abs(x)
、np.fabs(x)
: 计算数组各元素的绝对值
np.sqrt(x)
: 计算数组各元素的平方根np.square(x)
: 计算数组各元素的平方np.log(x) 、np.log10(x)、np.log2(x)
: 计算数组各元素的自然对数、10底对数和2底对数np.ceil(x) 、np.floor(x)
: 计算数组各元素的ceiling值或floor值
np.rint(x)
: 计算数组各元素的四舍五入值np.modf(x)
: 将数组各元素的小数和整数部分以两个独立数组形式返回np.cos(x)
、np.cosh(x)
、np.sin(x)
、np.sinh(x)
、np.tan(x)
、np.tanh(x)
: 计算数组各元素的普通型和双曲型三角函数np.exp(x)
: 计算数组各元素的指数值np.sign(x)
: 计算数组各元素的符号值,1(+), 0, ‐1(‐)
- 二元函数运算
- + , − , ∗ , / , ∗ ∗ +, -, *, /, ** +,−,∗,/,∗∗ 两个数组各元素进行对应运算
- np.maximum(x,y) 、np.fmax()、 np.minimum(x,y) 、np.fmin() :元素级的最大值/最小值计算
np.mod(x,y)
:元素级的模运算np.copysign(x,y)
: 将数组y中各元素值的符号赋值给数组x对应元素- > < >= <= == != 算术比较,产生布尔型数组
1.2.3 np数组的变形与合并
- 转置:
T
In [58]: np.zeros((2,3)).T
Out[58]:
array([[0., 0.],
[0., 0.],
[0., 0.]])
- 合并操作:
r_, c_
- 对于二维数组而言,
r_
(上下合并)和c_
(左右合并)
In [59]: np.r_[np.zeros((2,3)),np.zeros((2,3))]
Out[59]:
array([[0., 0., 0.],
[0., 0., 0.],
[0., 0., 0.],
[0., 0., 0.]])
In [60]: np.c_[np.zeros((2,3)),np.zeros((2,3))]
Out[60]:
array([[0., 0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0., 0.]])
- 将一维数组和二维数组进行合并时,应当把其视作列向量,在长度匹配的情况下只能够使用左右合并的
c_
In [61]: try:
....: np.r_[np.array([0,0]),np.zeros((2,1))]
....: except Exception as e:
....: Err_Msg = e
....:
In [62]: Err_Msg
Out[62]: ValueError('all the input arrays must have same number of dimensions, but the array at index 0 has 1 dimension(s) and the array at index 1 has 2 dimension(s)')
In [63]: np.r_[np.array([0,0]),np.zeros(2)]
Out[63]: array([0., 0., 0., 0.])
In [64]: np.c_[np.array([0,0]),np.zeros((2,3))]
Out[64]:
array([[0., 0., 0., 0.],
[0., 0., 0., 0.]])
- 维度变换:
reshape
- 帮助用户把原数组按照新的维度重新排列
C
模式:以逐行的顺序进行填充读取F
模式:以逐列的顺序进行填充读取
In [65]: target = np.arange(8).reshape(2,4)
In [66]: target
Out[66]:
array([[0, 1, 2, 3],
[4, 5, 6, 7]])
In [67]: target.reshape((4,2), order='C') # 按照行读取和填充
Out[67]:
array([[0, 1],
[2, 3],
[4, 5],
[6, 7]])
In [68]: target.reshape((4,2), order='F') # 按照列读取和填充
Out[68]:
array([[0, 2],
[4, 6],
[1, 3],
[5, 7]])
- 特别地,由于被调用数组的大小是确定的, reshape 允许有一个维度存在空缺,此时只需填充-1即可
In [69]: target.reshape((4,-1))
Out[69]:
array([[0, 1],
[2, 3],
[4, 5],
[6, 7]])
- 常用的将
n*1
大小的数组转为1维数组的操作
In [70]: target = np.ones((3,1))
In [71]: target
Out[71]:
array([[1.],
[1.],
[1.]])
In [72]: target.reshape(-1)
Out[72]: array([1., 1., 1.])
1.2.4 np数组的切片与索引
- 数组的切片模式支持使用
slice
类型的start:end:step
切片,还可以直接传入列表指定某个维度的索引进行切片
In [73]: target = np.arange(9).reshape(3,3)
In [74]: target
Out[74]:
array([[0, 1, 2],
[3, 4, 5],
[6, 7, 8]])
In [75]: target[:-1, [0,2]] #从第一行到倒数第二行
Out[75]:
array([[0, 2],
[3, 5]])
In [76]: target[:3, [0,1]]
Out[76]:
array([[0, 1],
[3, 4],
[6, 7]])
- 利用
np.ix_
在对应的维度上使用布尔索引,但此时不能使用slice
切片
In [76]: target[np.ix_([True, False, True], [True, False, True])] #先判定行,再判定列
Out[76]:
array([[0, 2],
[6, 8]])
In [76]: target[np.ix_([True, False, True])]
Out[76]:
array([[0, 1, 2],
[6, 7, 8]])
In [77]: target[np.ix_([1,2], [True, False, True])]
Out[77]:
array([[3, 5],
[6, 8]])
- 当数组维度为1维时,可以直接进行布尔索引,而无需
np.ix_
In [78]: new = target.reshape(-1)
In [79]: new[new%2==0]
Out[79]: array([0, 2, 4, 6, 8])
1.2.5 常用函数
where
- 一种条件函数,可以指定满足条件与不满足条件位置对应的填充值
In [80]: a = np.array([-1,1,-1,0])
In [81]: np.where(a>0, a, 5) #对应位置为True时填充a对应元素,否则填充5
Out[81]: array([5, 1, 5, 5])
nonzero, argmax, argmin
- 三个函数返回的都是索引,
nonzero
返回非零数的索引,argmax, argmin
分别返回最大和最小数的索引
In [82]: a = np.array([-2,-5,0,1,3,-1])
In [83]: np.nonzero(a)
Out[83]: (array([0, 1, 3, 4, 5], dtype=int64),)
In [84]: a.argmax()
Out[84]: 4
In [85]: a.argmin()
Out[85]: 1
any, all
any
指当序列至少 存在一个True
或非零元素时返回True
,否则返回False
all
指当序列元素 全为True
或非零元素时返回True
,否则返回False
In [86]: a = np.array([0,1])
In [87]: a.any()
Out[87]: True
In [88]: a.all()
Out[88]: False
cumprod, cumsum, diff
cumprod
表示累乘函数,返回同长度的数组cumsum
表示累加函数,返回同长度的数组diff
表示和前一个元素做差,由于第一个元素为缺失值,因此在默认参数情况下,返回长度是原数组减1
In [89]: a = np.array([1,2,3])
In [90]: a.cumprod() #累乘函数,返回同长度的数组
Out[90]: array([1, 2, 6], dtype=int32)
In [91]: a.cumsum() #累加函数,返回同长度的数
Out[91]: array([1, 3, 6], dtype=int32)
In [92]: np.diff(a) #和前一个元素做差,由于第一个元素为缺失值,因此在默认参数情况下,返回长度是原数组减1
Out[92]: array([1, 1])
- 统计函数
- 常用的统计函数包括
max, min, mean, median, std, var, sum, quantile
- 其中分位数计算是全局方法,因此不能通过
array.quantile
的方法调用
In [93]: target = np.arange(5)
In [94]: target
Out[94]: array([0, 1, 2, 3, 4])
In [95]: target.max()
Out[95]: 4
In [96]: np.quantile(target, 0.5) # 0.5分位数
Out[96]: 2.0
- 对于含有缺失值的数组,返回的结果也是缺失值
- 如果需要略过缺失值,必须使用
nan*
类型的函数,上述的几个统计函数都有对应的nan*
函数
In [97]: target = np.array([1, 2, np.nan])
In [98]: target
Out[98]: array([ 1., 2., nan])
In [99]: target.max()
Out[99]: nan
In [100]: np.nanmax(target)
Out[100]: 2.0
In [101]: np.nanquantile(target, 0.5)
Out[101]: 1.5
- 计算协方差和相关系数,利用
cov, corrcoef
In [102]: target1 = np.array([1,3,5,9])
In [103]: target2 = np.array([1,5,3,-9])
In [104]: np.cov(target1, target2)
Out[104]:
array([[ 11.66666667, -16.66666667],
[-16.66666667, 38.66666667]])
In [105]: np.corrcoef(target1, target2)
Out[105]:
array([[ 1. , -0.78470603],
[-0.78470603, 1. ]])
- 二维
Numpy
数组中统计函数的axis
参数:能够进行某一个维度下的统计特征计算,当axis=0
时结果为列的统计指标,当axis=1
时结果为行的统计指标
In [106]: target = np.arange(1,10).reshape(3,-1)
In [107]: target
Out[107]:
array([[1, 2, 3],
[4, 5, 6],
[7, 8, 9]])
In [108]: target.sum(0)
Out[108]: array([12, 15, 18])
In [109]: target.sum(1)
Out[109]: array([ 6, 15, 24])
shape
返回各个维度的维数
- 例如,y是一个两行三列的二维数组,y.shape[0]代表行数,y.shape[1]代表列数
1.2.6 广播机制
- 广播机制用于处理两个不同维度数组之间的操作,这里只讨论不超过两维的数组广播机制
- 标量和数组的操作
- 当一个标量和数组进行运算时,标量会自动把大小扩充为数组大小,之后进行逐元素操作
In [110]: res = 3 * np.ones((2,2)) + 1
In [111]: res
Out[111]:
array([[4., 4.],
[4., 4.]])
In [112]: res = 1 / res
In [113]: res
Out[113]:
array([[0.25, 0.25],
[0.25, 0.25]])
- 二维数组之间的操作
- 只有当两个数组维度完全一致时,才能使用对应元素的操作,否则会报错
- 除非其中的某个数组的维度是 m × 1 m×1 m×1 或者 1 × n 1×n 1×n ,会扩充其具有 1 1 1 的维度为另一个数组对应维度的大小
- 例如, 1 × 2 1×2 1×2 数组和 3 × 2 3×2 3×2 数组做逐元素运算时会把第一个数组扩充为 3 × 2 3×2 3×2 ,扩充时的对应数值进行赋值。但是,需要注意的是,如果第一个数组的维度是 1 × 3 1×3 1×3 ,那么由于在第二维上的大小不匹配且不为 1 1 1 ,此时报错
In [114]: res = np.ones((3,2))
In [115]: res
Out[115]:
array([[1., 1.],
[1., 1.],
[1., 1.]])
In [116]: res * np.array([[2,3]]) #第二个数组扩充第一维度为3
Out[116]:
array([[2., 3.],
[2., 3.],
[2., 3.]])
In [117]: res * np.array([[2],[3],[4]]) #第二个数组扩充第二维度为2
Out[117]:
array([[2., 2.],
[3., 3.],
[4., 4.]])
In [118]: res * np.array([[2]]) #等价两次扩充,第二个数组两个维度分别扩充为3和2
Out[118]:
array([[2., 2.],
[2., 2.],
[2., 2.]])
- 一维数组与二维数组的操作
- 当一维数组 A k A_{k} Ak 与二维数组 B m , n B_{m, n} Bm,n 操作时,等价于把一维数组视作 A 1 , k A_{1, k} A1,k 的二维数组,使用的广播法则与【2】中一致,当 k ! = n k !=n k!=n 且 k , n k, n k,n 都不是 1 1 1 时报错。
In [119]: np.ones(3) + np.ones((2,3))#将第一个数组的第一维度扩充为2
Out[119]:
array([[2., 2., 2.],
[2., 2., 2.]])
In [120]: np.ones(3) + np.ones((2,1)) #等价两次扩充,先将第一个数组的第一维度扩充为2,再将第二个数组的第二维度扩充为3
Out[120]:
array([[2., 2., 2.],
[2., 2., 2.]])
In [121]: np.ones(1) + np.ones((2,3)) #等价两次扩充
Out[121]:
array([[2., 2., 2.],
[2., 2., 2.]])
1.2.7 向量与矩阵的计算
- 向量内积:
dot
公式: a ⋅ b = ∑ i a i b i \mathbf{a} \cdot \mathbf{b}=\sum_{i} a_{i} b_{i} a⋅b=∑iaibi
In [122]: a = np.array([1,2,3])
In [123]: b = np.array([1,3,5])
In [124]: a.dot(b)
Out[124]: 22
- 向量范数和矩阵范数:
np.linalg.norm
- 在矩阵范数的计算中,最重要的是
ord
参数,可选值如下:
ord | norm for matrices | norm for vectors |
---|---|---|
None | Frobenius norm | 2-norm |
‘fro’ | Frobenius norm | – |
‘nuc’ | nuclear norm | – |
inf | max(sum(abs(x), axis=1)) | max(abs(x)) |
-inf | min(sum(abs(x), axis=1)) | min(abs(x)) |
0 | – | sum(x != 0) |
1 | max(sum(abs(x), axis=0)) | as below |
-1 | min(sum(abs(x), axis=0)) | as below |
2 | 2-norm (largest sing. value) | as below |
-2 | smallest singular value | as below |
other | – | sum(abs(x)ord)(1./ord) |
In [125]: matrix_target = np.arange(4).reshape(-1,2)
In [126]: matrix_target
Out[126]:
array([[0, 1],
[2, 3]])
In [127]: np.linalg.norm(matrix_target, 'fro')
Out[127]: 3.7416573867739413
In [128]: np.linalg.norm(matrix_target, np.inf)
Out[128]: 5.0
In [129]: np.linalg.norm(matrix_target, 2)
Out[129]: 3.702459173643833
In [130]: vector_target = np.arange(4)
In [131]: vector_target
Out[131]: array([0, 1, 2, 3])
In [132]: np.linalg.norm(vector_target, np.inf)
Out[132]: 3.0
In [133]: np.linalg.norm(vector_target, 2)
Out[133]: 3.7416573867739413
In [134]: np.linalg.norm(vector_target, 3)
Out[134]: 3.3019272488946263
- 矩阵乘法:
@
[ A m × p B p × n ] i j = ∑ k = 1 p A i k B k j \left[\mathbf{A}_{\mathrm{m} \times \mathrm{p}} \mathbf{B}_{\mathrm{p} \times \mathrm{n}}\right]_{\mathrm{ij}}=\sum_{\mathrm{k}=1}^{\mathrm{p}} \mathbf{A}_{\mathrm{ik}} \mathbf{B}_{\mathrm{kj}} [Am×pBp×n]ij=∑k=1pAikBkj
In [135]: a = np.arange(4).reshape(-1,2)
In [136]: a
Out[136]:
array([[0, 1],
[2, 3]])
In [137]: b = np.arange(-4,0).reshape(-1,2)
In [138]: b
Out[138]:
array([[-4, -3],
[-2, -1]])
In [139]: a@b
Out[139]:
array([[ -2, -1],
[-14, -9]]
注:本文整理内容来自datawhale社区(《Joyful Pandas》)和gitmodel开源课程,并少量补充查找的其他资料。