JoyfulPandas 第一章 预备知识

joyfulpandas首页：http://inter.joyfulpandas.datawhale.club/Home.html

一、Python基础

1.列表推导式与条件赋值

在生成一个数字序列的时候，在Python中可以如下写出：

L = []

def my_func(x):
    return 2*x

for i in range(5):
    L.append(my_func(i))
L

[0, 2, 4, 6, 8]

事实上可以利用列表推导式进行写法上的简化：[* for i in *]。其中，第一个*为映射函数，其输入为后面i指代的内容，第二个*表示迭代的对象。

[my_func(i) for i in range(5)]

[0, 2, 4, 6, 8]

列表表达式还支持多层嵌套，如下面的例子中第一个for为外层循环，第二个为内层循环：

[m+'_'+n for m in ['a', 'b'] for n in ['c', 'd']]

['a_c', 'a_d', 'b_c', 'b_d']

除了列表推导式，另一个实用的算法糖是带有if选择的条件赋值，其形式为value = a if condition else b：

value = 'cat' if 2 > 1 else 'dog'

value

'cat'

等价于如下写法：

a, b = 'cat', 'dog'
condition = 2 > 1 # 此时为True
if condition:
    value = a
else:
    value = b
value

'cat'

下面举一个例子，截断列表中超过5的元素，即超过5的用5代替，小于5的保留原来的值

L = [1, 2, 3, 4, 5, 6 ,7]

[i if i <= 5 else 5 for i in L]

[1, 2, 3, 4, 5, 5, 5]

2.匿名函数与map方法

有一些函数的定义具有清晰简单的映射关系，例如上面的my_func函数，这时候可以用匿名函数的方法简洁地表示：

my_func = lambda x: 2*x

my_func(3)

6

multi_para_func = lambda a, b : a + b

multi_para_func(1, 2)

3

但上面的用法其实违背了“匿名”的含义，事实上它往往在无需多处调用的场合进行使用，例如上面列别推导式中的例子，用户不关心函数的名字，只关心这种映射关系：

[(lambda x:2*x)(i) for i in range(5)]

[0, 2, 4, 6, 8]

对于上述的这种列表推导式的匿名函数映射，Python中提供了map函数来完成，它返回的是一个map对象，需要通过list转为列表：

list(map(lambda x:2*x, range(5)))

[0, 2, 4, 6, 8]

对于多个输入值的函数映射，可以通过追加迭代对象实现：

list(map(lambda x, y : str(x)+'_'+y, range(5), list('abcde')))

['0_a', '1_b', '2_c', '3_d', '4_e']

3.zip对象与enumerate方法

zip函数能够把多个可迭代对象打包成一个元组构成的可迭代对象，它返回了一个zip对象，通过tuple, list可以得到相应的打包结果：

L1, L2, L3 = list('abc'), list('def'), list('hij')

list(zip(L1, L2, L3))

[('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]

tuple(zip(L1, L2, L3))

(('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j'))

往往在循环迭代的时候使用到zip函数：

for i, j, k in zip(L1, L2, L3):
    print(i, j, k)

a d h
b e i
c f j

enumerate是一种特殊的打包，它可以在迭代时绑定迭代元素的遍历序号

L = list('abcd')

for index, value in enumerate(L):
    print(index, value)

0 a
1 b
2 c
3 d

用zip对象也能够简单地实现这个功能：

for index, value in zip(range(len(L)), L):
    print(index, value)

0 a
1 b
2 c
3 d

当需要对两个列表建立字典映射时，可以利用zip对象，但是dict(zip(L1, L2, L3))是错误的：

dict(zip(L1, L2))

{'a': 'd', 'b': 'e', 'c': 'f'}

既然有了压缩函数，那么Python也提供了*操作符和zip联合使用来进行解压操作：

zipped = list(zip(L1, L2, L3))

zipped

[('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]

list(zip(*zipped))

[('a', 'b', 'c'), ('d', 'e', 'f'), ('h', 'i', 'j')]

二、Numpy基础

1.np数组的构造

最一般的方法时通过array来构造：

import numpy as np

np.array([1, 2, 3])

array([1, 2, 3])

下面讨论一些特殊数组的生成方式:

【a】 等差序列：np.linspace, np.arange

np.linspace(1, 5, 11) # 起始、终止（包含）、样本个数

array([1. , 1.4, 1.8, 2.2, 2.6, 3. , 3.4, 3.8, 4.2, 4.6, 5. ])

np.arange(1, 5, 2) # 起始、终止（不包含）、补偿

array([1, 3])

【b】 特殊矩阵：zeros, eye, full, ones

np.zeros((2, 3)) # 传入元组表示各维度大小

array([[0., 0., 0.],
       [0., 0., 0.]])

np.eye(3) # 3*3的单位矩阵

array([[1., 0., 0.],
       [0., 1., 0.],
       [0., 0., 1.]])

np.eye(3, k=1) # 偏移主对角线1个单位的伪单位矩阵

array([[0., 1., 0.],
       [0., 0., 1.],
       [0., 0., 0.]])

np.full((2, 3), 10) # 元组传入大小，10表示填充数值

array([[10, 10, 10],
       [10, 10, 10]])

np.full((2, 3), [1, 2, 3]) # 每行填入相同的列表

array([[1, 2, 3],
       [1, 2, 3]])

np.ones((2, 3)) # 元组传入大小

array([[1., 1., 1.],
       [1., 1., 1.]])

【c】 随机矩阵：np.random

最常用的随机生成函数为rand,randn,randint,choice，它们分别表示0-1均匀分布随机数组、标准正态的随机数组、随机整数数组和随机列表抽样：

np.random.rand(3) # 生成服从0-1均匀分布的三个随机数

array([0.97861834, 0.79915856, 0.46147936])

np.random.rand(3, 3) # 注意这里传人的不是元组，每个维度大小分开输入

array([[0.78052918, 0.11827443, 0.63992102],
       [0.14335329, 0.94466892, 0.52184832],
       [0.41466194, 0.26455561, 0.77423369]])

对于服从区间a到b上的均匀分布可以如下生成：

a, b = 5, 15
 
(b - a) * np.random.rand(3) + a

array([ 9.56150332, 10.68433949,  5.187898  ])

一般的，可以选择已有的库函数：

np.random.uniform(5, 13, 3)

array([9.94108398, 9.89676578, 9.93547197])

randn生成了$N(0,1)$的标准正态分布：

np.random.randn(3)

array([0.33367433, 0.15494743, 0.37816252])

np.random.randn(3, 3)

array([[-0.88778575, -1.98079647, -0.34791215],
       [ 0.15634897,  1.23029068,  1.20237985],
       [-0.38732682, -0.30230275, -1.04855297]])

对于服从方差为${\sigma }^2$均值为$\mu$的一元正态分布可以如下生成：

sigma, mu = 2.5, 3 # sigma为标准差

mu + np.random.randn(3) * sigma

array([-0.55004484, -1.26567548,  7.87693849])

同样的，也可以选择从已有函数生成：

np.random.normal(3, 2.5, (3, 3))

array([[ 1.72586955,  1.90481425, -0.1319884 ],
       [ 4.94372589, -1.03474462,  2.4681493 ],
       [ 0.7613336 ,  3.96725624,  1.72298716]])

randint可以指定生成随机整数的最小值最大值（不包含）和维度大小：

low, high, size = 5, 15, (2, 2) # 生成5到14的随机整数
np.random.randint(low, high, size)

array([[10,  5],
       [ 6,  7]])

choice可以从给定的列表中，以一定概率和方式抽取结果，当不指定概率时为均匀采样，默认抽取方式为又放回抽样：

my_list = ['a', 'b', 'c', 'd']

np.random.choice(my_list, 2, replace=False, p = [0.1, 0.7, 0.1, 0.1])

array(['b', 'd'], dtype='<U1')

np.random.choice(my_list, (3, 3))

array([['d', 'c', 'c'],
       ['b', 'a', 'd'],
       ['b', 'b', 'd']], dtype='<U1')

当返回的元素个数与原列表相同时，不放回抽样等价于使用permutation函数，即打散原列表：

np.random.permutation(my_list)

array(['b', 'd', 'c', 'a'], dtype='<U1')

最后，需要提到的是随机种子，它能秃顶随机数的输出结果：

np.random.seed(0)

np.random.rand()

0.5488135039273248

np.random.seed(0)

np.random.rand()

0.5488135039273248

2.np数组的变形与合并

【a】转置：T

np.zeros((2, 3)).T

array([[0., 0.],
       [0., 0.],
       [0., 0.]])

【b】合并操作：r_, c_
对于二维数组而言，r_和c_分别表示上下合并和左右合并：

np.r_[np.zeros((2, 3)), np.zeros((2, 3))]

array([[0., 0., 0.],
       [0., 0., 0.],
       [0., 0., 0.],
       [0., 0., 0.]])

np.c_[np.zeros((2, 3)), np.zeros((2, 3))]

array([[0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0.]])

一维数组和二维数组进行合并时，应当把其视作列向量，在长度匹配的情况下之恶能够使用左右合并的c_操作：

try:
    np.r_[np.array([0, 0]), np.zeros((2, 1))]
except Exception as e:
    Err_Msg = e
Err_Msg

ValueError('all the input arrays must have same number of dimensions')

np.r_[np.array([0, 0]), np.zeros(2)]

array([0., 0., 0., 0.])

np.c_[np.array([0, 0]), np.zeros((2, 3))]

array([[0., 0., 0., 0.],
       [0., 0., 0., 0.]])

【c】维度变换：reshape

reshape能够帮助用户把原数组按照新的维度重新排列。在使用时有两种模式，分别为C模式和F模式，分别以逐行和逐列的顺序进行填充读取。

target = np.arange(8).reshape(2, 4)
target

array([[0, 1, 2, 3],
       [4, 5, 6, 7]])

target.reshape((4, 2), order='C') # 按照行读取和填充 

array([[0, 1],
       [2, 3],
       [4, 5],
       [6, 7]])

target.reshape((4, 2), order='F') # 按照列读取和填充

array([[0, 2],
       [4, 6],
       [1, 3],
       [5, 7]])

特别地，由于被调用数组的大小时确定的，reshape允许有一个维度存在空缺，此时只需填充-1即可：

target.reshape((4, -1))

array([[0, 1],
       [2, 3],
       [4, 5],
       [6, 7]])

下面将n*1大小的数组转为1维数组的操作时经常使用的

target = np.ones((3, 1))

target

array([[1.],
       [1.],
       [1.]])

target.reshape(-1)

array([1., 1., 1.])

3.数组的切片与索引

数组的切片模式支持使用slice类型的start🔚step切片，还可以直接传入列表指定某个维度的索引进行切片：

target = np.arange(9).reshape(3, 3)

target

array([[0, 1, 2],
       [3, 4, 5],
       [6, 7, 8]])

target[:-1, [0, 2]]

array([[0, 2],
       [3, 5]])

此外，还可以利用np.ix_在对应的维度上使用布尔索引，但此时不能使用slice切片：

target[np.ix_([True, False, True], [True, False, True])]

array([[0, 2],
       [6, 8]])

target[np.ix_([1, 2], [True, False, True])]

array([[3, 5],
       [6, 8]])

当数组维度为1维时，可以直接进行布尔索引，而无需np.ix_:

new = target.reshape(-1)

new[new%2==0]

array([0, 2, 4, 6, 8])

4.常用函数

为了简单起见，这里假设下述函数输入的数组都是一维的。

【a】where

where是一种条件函数，可以指定满足条件与不满足条件位置对应的填充值：

a = np.array([-1, 1, -1, 0])

np.where(a>0, a, 5) # 对应位置为True时填充a对应元素，否则填充5

array([5, 1, 5, 5])

【b】 nonzero, argmax, argmin

这三个函数返回的都是索引，nonzero返回非零数的索引，argmax, argmin分别返回最大和最小数的索引：

a = np.array([-2, -5, 0, 1, 3, -1])

np.nonzero(a)

(array([0, 1, 3, 4, 5], dtype=int64),)

a.argmax()

4

a.argmin()

1

二维情况：

a = np.array([-2, -5, 0, 1, 3, -1]).reshape(2, 3)

np.nonzero(a) # 返回非零元素的索引，分别是(0, 0), (0, 1), (1, 0), (1, 1), (1, 2)

(array([0, 0, 1, 1, 1], dtype=int64), array([0, 1, 0, 1, 2], dtype=int64))

【c】any, all

any指当序列至少存在一个True或非零元素时返回True，否则返回False

all指当序列元素全为True或非零元素时返回True，否则返回False

a = np.array([0, 1])

a.any()

True

a.all()

False

【d】cumprod, cumcun, diff

cumprod, cumsum分别表示累乘和累加函数，返回同长度的数组，diff表示和前一个元素做差，由于第一个元素为缺失值，因此在默认参数情况下，返回长度是原数组减1

a = np.array([1, 2, 3, 4])

a.cumprod()

array([ 1,  2,  6, 24], dtype=int32)

a.cumsum()

array([ 1,  3,  6, 10], dtype=int32)

np.diff(a)

array([1, 1, 1])

【e】统计函数

常用的统计函数包括max, min, mean, median, std, var, sum, quantile，其中分位数计算是全局方法，因此不能通过array.quantile的方法调用：

target = np.arange(5)

target

array([0, 1, 2, 3, 4])

target.max()

4

np.quantile(target, 0.5) # 0.5分位数

2.0

但是对于含有缺失值的数组，它们返回的结果也是缺失值，如果需要略过缺失值，必须使用nan类型的函数，上述的几个统计函数都有对应得nan函数。

target = np.array([1, 2, np.nan])

target

array([ 1.,  2., nan])

target.max()

D:\Study\Anaconda3\lib\site-packages\numpy\core\_methods.py:28: RuntimeWarning: invalid value encountered in reduce
  return umr_maximum(a, axis, None, out, keepdims, initial)





nan

np.nanmax(target)

2.0

np.nanquantile(target, 0.5)

1.5

对于协方差和相关系数分别可以利用cov, corrcoef如下计算：

target1 = np.array([1, 3, 5, 9])

target2 = np.array([1, 5, 3, -9])

np.cov(target1, target2)

array([[ 11.66666667, -16.66666667],
       [-16.66666667,  38.66666667]])

np.corrcoef(target1, target2)

array([[ 1.        , -0.78470603],
       [-0.78470603,  1.        ]])

最后，需要说明二维Numpy数组中统计函数的axis参数，它能够进行某一个维度下的统计特征计算，当axis=0时结果为列的统计指标，当axis=1时结果为行的统计指标：

target = np.arange(1, 10).reshape(3, -1)

target

array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

target.sum(0)

array([12, 15, 18])

target.sum(1)

array([ 6, 15, 24])

5.广播机制

广播机制用于处理两个不同维度数组之间的操作，这里只讨论不超过过两维的数组广播机制。

【a】标量和数组的操作

当一个标量和数组进行运算时，标量会自动把大小扩充为数组大小，之后进行逐元素操作：

res = 3 * np.ones((2, 2)) + 1

res

array([[4., 4.],
       [4., 4.]])

res = 1 / res

res

array([[0.25, 0.25],
       [0.25, 0.25]])

【b】二维数组之间的操作

当两个数组维度完全一致时，使用对应元素的操作，否则会报错，除非其中的某个数组维度是 $m\times 1$或者$1\times n$ ，那么会扩充其具有1的维度为另一个数组对应维度的大小。例如，$1\times 2$ 数组和$3\times 2$数组左逐元素运算时会把第一个数组扩充为$3\times 2$，扩充时的对应数值进行赋值。但是，需要注意的是，如果第一个数组的维度是$1\times 3$,那么由于再第二维上的大小不匹配且不为1，此时报错。

res = np.ones((3, 2))

res

array([[1., 1.],
       [1., 1.],
       [1., 1.]])

res * np.array([[2, 3]]) # 第二个数组扩充第一维度为3

array([[2., 3.],
       [2., 3.],
       [2., 3.]])

res * np.array([[2], [3], [4]]) # 第二个数组扩充第二维度为2

array([[2., 2.],
       [3., 3.],
       [4., 4.]])

res * np.array([[2]]) # 等价于两次扩充，第二个数组两个维度分别扩充为3和2

array([[2., 2.],
       [2., 2.],
       [2., 2.]])

【c】一维数组与二维数组的操作

当一维数组$A_k$与二维数组$B_{m,n}$操作时，等价于把一维数组视作$A_{1,k}$的二维数组，使用的广播法则与【b】中一致，当$k!=n$且$k,n$都不是1时报错

np.ones(3) + np.ones((2, 3))

array([[2., 2., 2.],
       [2., 2., 2.]])

np.ones(3) + np.ones((2, 1))

array([[2., 2., 2.],
       [2., 2., 2.]])

np.ones(1) + np.ones((2, 3))

array([[2., 2., 2.],
       [2., 2., 2.]])

6.向量与矩阵的计算

【a】向量内积：dot

$$a\cdot b=\sum _i{a}_i{b}_i$$

a = np.array([1, 2, 3])
b = np.array([1, 3, 5])

a.dot(b)

22

【b】向量范数和矩阵范数：np.lianlg.norm

(1).向量范数
假设x是向量：

$$x=(x_1,x_2,\dots ,x_n)$$

那么p-范数的计算公式如下：

$$||x|{|}_p=\sqrt[p]{\sum _{i=1}^n|x_i{|}^p}$$

x向量的各元素绝对值的p次方之和的p方根。

(2).常见的范数计算

依据范数的定义，可以计算各阶的范数，机器学习领域内常见、常用的范数有：

1). 0-范数，表示向量中非零元素的个数。

$$||x|{|}_0=\sqrt[0]{\sum _{i=1}^n|x_i{|}^0}$$

2). 1-范数，计算方式为向量所有元素的绝对值之和。

$$||x|{|}_1=\sum _{i=1}^n|x_i|$$

3). 2-范数，计算方式跟欧式距离的方式一致即向量各元素的平方和然后求平方根。

$$||x|{|}_2=\sqrt[2]{\sum _{i=1}^n{x}_i^2}$$

4). +∞-范数，所有向量元素绝对值中的最大值。

$$||x|{|}_{+\infty }=\underset{i=1}{\overset{n}{\max }}|x_i|$$

5). −∞-范数，所有向量元素绝对值中的最小值。

$$||x|{|}_{-\infty }=\underset{i=1}{\overset{n}{\min }}|x_i|$$

(3). 矩阵的范数

和向量的范数一样，矩阵也有范数，假设矩阵A的大小为$m\ast n$，即m行n列。

1). 1-范数，又名列和范数。顾名思义，即矩阵列向量中绝对值之和的最大值。

$$||A|{|}_1=\underset{j=1}{\overset{n}{\max }}\sum _{i=1}^m|a_{ij}|$$

X的三个列向量$(-1,-4,1{)}^T$、$(1,3,0{)}^T$、$(0,0,2{)}^T$的绝对值之和为6、4、2，最大值是6即为矩阵A的1-范数。

2). 2-范数，又名谱范数，计算方法为$A^{T}A$矩阵的最大特征值的开平方。

$$||A|{|}_2=\sqrt{max({\lambda }_i)}$$

其中，${\lambda }_i$ 是$A^{T}A$矩阵的特征值。

矩阵X的2-范数计算是先计算$X^{T}X$的特征值${\lambda }_i$，然后找${\lambda }_i$中的最大值，再开方。代码里xtx即为$X^{T}X$，eigvals函数的返回值就是各个${\lambda }_i$。

3). F-范数，Frobenius范数，计算方式为矩阵元素的绝对值的平方和再开方。

$$||A|{|}_F=\sqrt[2]{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}$$

4). $\infty$-范数，又名行和范数， 即矩阵行向量中绝对值之和的最大值。

$$||A|{|}_{\infty }=\underset{i=1}{\overset{m}{\max }}\sum _{j=1}^n|a_{ij}|$$

$\infty$-范数是从X矩阵的三个行向量求得的，(−1,1,0)、(−4,3,0)、(1,0,2)三个行向量的元素绝对值之和分别为2、7、3，最大值为7。

(4).在向量和矩阵范数的计算中，最重要的时ord参数，可选值如下：

ord	norm for matrices	norm for vectors
None	Frobenius norm	2-norm
‘fro’	Frobenius norm	-
‘nuc’	nuclear norm	-
inf	max(sum(abs(x), axis=1))	max(abs(x))
-inf	min(sum(abs(x), axis=1))	min(abs(x))
0	-	sum(x!=0)
1	max(sum(abs(x), axis=0))	as below
-1	min(sum(abs(x), axis=0))	as below
2	2-norm(largest sing.value)	as below
-2	smallest singular value	as below
other	-	sum(bas(x) **ord(1./ord))

matrix_target = np.arange(4).reshape(-1, 2)

matrix_target

array([[0, 1],
       [2, 3]])

np.linalg.norm(matrix_target, 'fro')

3.7416573867739413

np.linalg.norm(matrix_target, np.inf)

5.0

np.linalg.norm(matrix_target, -np.inf)

1.0

np.linalg.norm(matrix_target, 2)

3.702459173643833

vector_target = np.arange(4)

vector_target

array([0, 1, 2, 3])

np.linalg.norm(vector_target, np.inf)

3.0

np.linalg.norm(vector_target, 2)

3.7416573867739413

np.linalg.norm(vector_target, 3)

3.3019272488946263

【c】矩阵乘法：@

$$[A_{m\times p}{B}_{p\times n}{]}_{ij}=\sum _{k=1}^p{A}_{ik}{B}_{kj}$$

a = np.arange(4).reshape(-1, 2)

a

array([[0, 1],
       [2, 3]])

b = np.arange(-4, 0).reshape(-1, 2)

b

array([[-4, -3],
       [-2, -1]])

a@b

array([[ -2,  -1],
       [-14,  -9]])