打卡Datawhale31期Task01

Task1主要学习绪论概述 和 数学基础两个部分。
学习资料点这里

数学基础介绍了矩阵、矩阵的秩、矩阵的逆、广义逆以及矩阵的SVD和特征向量分解两种分解方式。

因为我目的在于提升代码能力，所以看完理论把其中一些内容用代码记录出来。
（用jupyternotebook导出md,然后导入体验不错hhhh）

import numpy as np

矩阵基本知识

1.随机数生成一个矩阵

#  生成【0,10）之间，4*4的矩阵  
A = np.random.randint(0,10,size = (4,4))
A

下面为输出A：

array([[5, 3, 0, 1],
       [0, 9, 4, 5],
       [7, 3, 8, 2],
       [3, 3, 2, 3]])

B = np.random.rand(2,4) # 随机数生成0-1之间矩阵
B

下面为输出B：

array([[0.99047078, 0.07596616, 0.667819  , 0.04907022],
       [0.64565844, 0.59305278, 0.90967228, 0.69274612]])

下面为输出C：

C = np.random.binomial(n = 10,p = 0.5,size=(4,4))  
C
# 服从二项分布的随机矩阵，n代表n次伯努利实验，p代表每次实验事件发生概率，返回值为发生次数

array([[6, 6, 7, 4],
       [5, 6, 6, 3],
       [6, 4, 6, 6],
       [4, 6, 3, 7]])

2.求矩阵的秩

np.linalg.matrix_rank(A)  # 求矩阵A的秩

输出：4

4

3.矩阵求逆

np.linalg.inv(A) # array类型,使用np.linalg.inv()。如果矩阵不可逆，会报错

输出为矩阵A的逆：

array([[ 0.51440329, -0.48148148,  0.25925926, -0.01234568],
       [-0.23868313,  0.40740741, -0.2962963 ,  0.0617284 ],
       [ 0.29218107, -0.48148148,  0.25925926,  0.32098765],
       [-0.218107  ,  0.14814815,  0.07407407, -0.09876543]])

# 也可以先将A 转化为矩阵，然后求逆
np.mat(A).I 

另一种方式，得到矩阵A的逆：

matrix([[ 0.51440329, -0.48148148,  0.25925926, -0.01234568],
        [-0.23868313,  0.40740741, -0.2962963 ,  0.0617284 ],
        [ 0.29218107, -0.48148148,  0.25925926,  0.32098765],
        [-0.218107  ,  0.14814815,  0.07407407, -0.09876543]])

4.求伪逆（广义逆）

np.linalg.pinv(B) # 如果B可逆，那么使用pinv与inv结果相同

输出伪逆：

array([[ 0.51440329, -0.48148148,  0.25925926, -0.01234568],
       [-0.23868313,  0.40740741, -0.2962963 ,  0.0617284 ],
       [ 0.29218107, -0.48148148,  0.25925926,  0.32098765],
       [-0.218107  ,  0.14814815,  0.07407407, -0.09876543]])

5.求矩阵的特征值和特征向量

value, vector = np.linalg.eig(A) # value为特征值，vector为特征向量
print(value)
print(vector)

输出特征值和特征向量：

[19.44501275+0.j         -3.14273158+4.92356561j -3.14273158-4.92356561j
 -5.1595496 +0.j        ]
[[-0.21622605+0.j          0.65565157+0.j          0.65565157-0.j
  -0.14138165+0.j        ]
 [-0.63512215+0.j         -0.20739702-0.41062277j -0.20739702+0.41062277j
  -0.56296376+0.j        ]
 [-0.52270244+0.j         -0.04817398-0.18804402j -0.04817398+0.18804402j
   0.81420911+0.j        ]
 [-0.52597368+0.j         -0.28748042+0.48802679j -0.28748042-0.48802679j
  -0.01210621+0.j        ]]

矩阵分解

1.矩阵特征分解

# 特征向量矩阵 * 特征值构成的对角阵 * 特征向量矩阵的逆
value, vector = np.linalg.eig(A) # value为特征值，vector为特征向量
sigma_matrix = np.diag(value) # np.diag将特征值 向量 转化为对角阵
print("特征值构成的对角阵",sigma_matrix)
# np.dot求矩阵乘法
np.allclose(A,np.dot(np.dot(vector , sigma_matrix) , np.linalg.inv(vector))) # 乘回去看下是否为原来的A
#np.allclose()比较两个array是不是每一元素都相等，默认在1e-05的误差范围内

特征值构成的对角阵 [[19.44501275+0.j          0.        +0.j          0.        +0.j
   0.        +0.j        ]
 [ 0.        +0.j         -3.14273158+4.92356561j  0.        +0.j
   0.        +0.j        ]
 [ 0.        +0.j          0.        +0.j         -3.14273158-4.92356561j
   0.        +0.j        ]
 [ 0.        +0.j          0.        +0.j          0.        +0.j
  -5.1595496 +0.j        ]]

True

2.奇异值分解

U,Sigma,V_h =  np.linalg.svd(A,full_matrices=True,compute_uv=True) # 正交矩阵U,奇异值Sigma,正交矩阵V
Sigma_matrix = np.diag(Sigma) # 将奇异值写成对角矩阵
print("奇异值为",Sigma)
print("奇异矩阵",Sigma_matrix)

奇异值为 [20.65300001  6.64383105  5.32940964  4.68086452]
奇异矩阵 [[20.65300001  0.          0.          0.        ]
 [ 0.          6.64383105  0.          0.        ]
 [ 0.          0.          5.32940964  0.        ]
 [ 0.          0.          0.          4.68086452]]

np.mean([1,2,3,4]) # 求向量均值
np.std([1,2,3,4]) # 向量标准差
# np.cov([1,2,3,4])
np.mean(A) # 矩阵均值 这里得到一个标量
np.std(A) # 矩阵标准差  这里得到一个标量
np.cov(A)# more每行为一个变量.如果rowvar =False则每列为一个变量

下面打印的为A的协方差，A的每行看做一个变量

array([[ 4.91666667, -2.83333333,  0.33333333,  0.75      ],
       [-2.83333333, 13.66666667, -7.        ,  0.16666667],
       [ 0.33333333, -7.        ,  8.66666667, -1.        ],
       [ 0.75      ,  0.16666667, -1.        ,  0.25      ]])

概率统计

1. 二项分布和伯努利分布的关系
   二项分布和伯努利分布：二项分布即重复n次伯努利试验，各试验之间相互独立
2. 全概率公式和贝叶斯公式
   
   [图来自Datawhale学习资料，见顶部链接]

信息论

1.熵 Entropy越小，混乱程度小，不确定小，纯度高。
2.交叉熵用来求目标与预测值之间的差距，深度学习较常用

最小二乘估计

损失函数取 预测值与真实值差值的平方的和，最小化这个损失。

参考资料：
1.关于特征值分解和奇异值分解部分：特征值分解和奇异值分解 写的超清晰。
4. Datawhale学习资料