总结线性回归和逻辑回归

正则化

现在是2019年12月25日，第二次写博客，今天学习了吴恩达机器学习正则化的内容，来做一个总结，正则化是一种在迭代更新系数时使用的惩罚机制，用于减少慢某些不必要特征对系数的影响，可以用于防止过拟合。

1.线性回归（预测）

1.1 线性函数：

1.2 误差函数：

1.3 向量化求解theta：

theta的迭代数学公式

theta的向量化同时迭代多个theta的值，SGD求解：

以上公式里面的参数分别有如下：

theta(i)向量的大小为：n1(n 为theta的个数，m为样本数量的个数)

x(i)的大小为mn

y(i)的大小为m1

x(i)的转置矩阵大小为nm

1.4 Normal Equation

2.逻辑回归（分类）

2.1 非线性函数：

2.2 误差函数：

这里公式写错了，i是从0开始的
J(theta)等式右边[]里面的需要求和的就是cost如下：

2.3 向量化SGD求解：

theta的迭代数学公式

（其向量化求解类似线性求解，不重复赘述）

2.4 Normal Equation

3.正则化(L2)

3.1 SGD的基础上加正则化

3.2 Normal Equation

其中lamda[]矩阵内为n+1*n+1的矩阵，第一个元素为0，斜对角线上除了第一个元素全部为1，矩阵其他的都为0.