第五周--机器学习数学基础之Python矩阵运算

实验目的

1. 在Jupyter中写下你的Python矩阵基本运算的学习记录。按照附件1提供的参考资料，把七个实验完整地实践练习一遍。

基础实验：Python 矩阵基本运算.doc

Jupyter写技术文档.docx

2. 解释微分、梯度的含义？ 什么是梯度下降法？

1）用梯度下降法手工求解

参考: https://www.jianshu.com/p/424b7b70df7b

2）在Excel里用牛顿法、或者梯度下降法求解 z=2(x-1)^2+y2 的近似根。

参考附件

梯度下降法-excel演示.xlsx

3. 线性回归可以用最小二乘法求解，也可以用梯度下降法求解。

请参考 https://www.jianshu.com/p/c7e642877b0e 或 https://arrow.blog.csdn.net/article/details/86583789

，调试、运行并详细注解文中的梯度下降法求解回归方程的python代码，对获得的结果与最小二乘法的结果进行对比。

实验步骤

引入numpy,以np作为简写:

import numpy as np

使用mat函数创建一个2*3矩阵:

a=np.([[1,2,3],[4,5,6]])
a

使用 shape 可以获取矩阵的大小

a.shap

微分、梯度的含义：

什么是微分？
由函数B=f(A)，得到A、B两个数集，在A中当dx靠近自己时，函数在dx处的极限叫作函数在dx处的微分，微分的中心思想是无穷分割。通常把自变量x的增量 Δx称为自变量的微分，记作dx，即dx = Δx。于是函数y = f(x)的微分又可记作dy = f’(x)dx。函数因变量的微分与自变量的微分之商等于该函数的导数。因此，导数也叫做微商。
几何意义：当Δx很小时，切线纵坐标的增量。

什么是梯度？
梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）

什么是梯度下降法？

梯度下降就是沿着梯度最陡的地方下降。也可以说梯度下降就是曲线或曲面上的某点沿着该点梯度的反方向移动。

   ● 如果我们从一个位置点x开始，每向下移动一点的距离，记做Oh，并将我们的位置更新为x-Oh，并且我们继续保持一致，直到达到底部。