机器学习数学基础之Python矩阵运算

Python矩阵基本运算

Python矩阵操作

创建矩阵与行列转换的功能函数，而在Python中也较多使用二维数组替代矩阵来进行运算

Python矩阵乘法

矩阵乘法的定律检验，要区分数乘与矩阵相乘的情况，后者将前后次序调转也会影响结果

Python矩阵转置

矩阵转置即为行变为列、列变为行，对于转置还有一些叠加定律值得注意

Python求方阵的迹

方阵的迹就是主对角元素之和，也只有方阵才有迹的概念，方阵之和的迹等于方阵之迹的和

Python方针的行列式计算方法

首先引入行列式的计算概念


手工计算比较困难，但在Python中只需要运用linalg.det()函数便可简便运算

在对e方阵求行列式时本机出现一定问题，不知为何显示的结果为0，而方阵f则没有问题

Python求逆矩阵/伴随矩阵

设A是数域上的一个n阶方阵，若在相同数域上存在另一个n阶矩阵B，使得： AB=BA=E。 则我们称B是A的逆矩阵，而A则被称为可逆矩阵。当矩阵A的行列式|A|不等于0时才存在可逆矩阵。
而伴随矩阵的定义为：

Python解多元一次方程

使用Python求解多元一次方程的原理也是将多元方程组代入矩阵后求解，主要运用的方法还是换元

微分、梯度的含义

微分

由函数B=f(A)，得到A、B两个数集，在A中当dx靠近自己时，函数在dx处的极限叫作函数在dx处的微分，微分的中心思想是无穷分割。通常把自变量x的增量 Δx称为自变量的微分，记作dx，即dx = Δx。于是函数y = f(x)的微分又可记作dy = f’(x)dx。函数因变量的微分与自变量的微分之商等于该函数的导数。因此，导数也叫做微商。
几何意义：当Δx很小时，切线纵坐标的增量。

梯度

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

梯度下降法

在机器学习算法中，对于很多监督学习模型，需要对原始的模型构建损失函数，接下来便是通过优化算法对损失函数进行优化，以便寻找到最优的参数。在求解机器学习参数的优化算法中，使用较多的是基于梯度下降的优化算法(Gradient Descent, GD)。

梯度下降法求解回归方程的python代码

为上图的点用梯度下降法求解拟合直线，具体代码如下

from numpy import *

# 数据集大小 即20个数据点
m = 20
# x的坐标以及对应的矩阵
X0 = ones((m, 1))  # 生成一个m行1列的向量，也就是x0，全是1
X1 = arange(1, m+1).reshape(m, 1)  # 生成一个m行1列的向量，也就是x1，从1到m
X = hstack((X0, X1))  # 按照列堆叠形成数组，其实就是样本数据
# 对应的y坐标
Y = array([
    3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12,
    11, 13, 13, 16, 17, 18, 17, 19, 21
]).reshape(m, 1)
# 学习率
alpha = 0.01


# 定义代价函数
def cost_function(theta, X, Y):
    diff = dot(X, theta) - Y  # dot() 数组需要像矩阵那样相乘，就需要用到dot()
    return (1/(2*m)) * dot(diff.transpose(), diff)


# 定义代价函数对应的梯度函数
def gradient_function(theta, X, Y):
    diff = dot(X, theta) - Y
    return (1/m) * dot(X.transpose(), diff)


# 梯度下降迭代
def gradient_descent(X, Y, alpha):
    theta = array([1, 1]).reshape(2, 1)
    gradient = gradient_function(theta, X, Y)
    while not all(abs(gradient) <= 1e-5):
        theta = theta - alpha * gradient
        gradient = gradient_function(theta, X, Y)
    return theta


optimal = gradient_descent(X, Y, alpha)
print('optimal:', optimal)
print('cost function:', cost_function(optimal, X, Y)[0][0])


# 根据数据画出对应的图像
def plot(X, Y, theta):
    import matplotlib.pyplot as plt
    ax = plt.subplot(111)  # 这是我改的
    ax.scatter(X, Y, s=30, c="red", marker="s")
    plt.xlabel("X")
    plt.ylabel("Y")
    x = arange(0, 21, 0.2)  # x的范围
    y = theta[0] + theta[1]*x
    ax.plot(x, y)
    plt.show()


plot(X1, Y, optimal)

拟合结果如上

参考引用

https://arrow.blog.csdn.net/article/details/86583789