吴恩达机器学习-笔记

名不显时心不朽，再挑灯火看文章。
-题记

1.先建模 假设函数 y=a0+a1*x
2.目标函数 （代价函数求最小值）

凸函数 只有一个最优解，不存在局部最优解

矩阵：
通常用大写字母表示矩阵 A B X。向量一般用小写表示。 x y
矩阵不满足交换律，满足结合律
单位矩阵
I=[1 0]
0 1
单位矩阵的特性任何矩阵乘以它都得到它本身
IA=AI=A

逆矩阵:只有行数和列数相同的方阵才有逆矩阵
奇异矩阵（退化矩阵）没有逆矩阵，类似0没有倒数
A*A^(-1)=A(-1)*A=I

转置矩阵：
A =[1 2 0]
3 5 9
A^T=B
Aij=Bji
A^T =[1 3]
2 5
0 9

多元线性回归
特征缩放 ：不同特征的取值，在相近的范围内，梯度下降法可以更快的收敛
一般特征的取值都约束到[-1,1]
一般在[-3,3]或[-1/3,1/3]

均值归一化：让特征的平均值为0
x1=（size - 1000）/2000。 //其中U1=1000为平均值，S1=2000为最大值减去最小值的取值范围 也称标准差

学习率的大小，看随迭代步数变化的代价函数的走势图，和自热检测s=10^(-3)
如果代价函数来回跳动，可能是学习率过大导致的,一般按3的倍数寻找学习率

多项式回归
x1=size
x2=size^(2)
x3=size^(3)
h0（x）= O1x1+02x2+03X3
讲多项中的转化为新的特征特征
选取特征的时候，看对应训练数据的特点，和数学函数的匹配度

求解代价函数的最大或最小值时（可以选用梯度下降和正规方程两种方式）
正规方程：当矩阵为奇异或退化矩阵时不可逆。//很少发生，也不影响求解
pinv()伪逆函数 //即使不可逆也可以计算出逆矩阵
1.两个特征存在函数关系，删除多余特征
2.训练数据集少于特征数，正则化

Logistic回归
加入多项式可以构建复杂的决策边界
梯度下降函数和多线性回归是相同的
用循环次数绘制代价函数的值观察是否算法正常工作

Cost --翻译： 代价
惩罚函数

梯度下降优化：共轭梯度这种优化算法使用最新代码包，不要自己实现，自动寻找学习率

多分类问题：
一对其余：看成多个二分类问题，找到概率最大的类别

欠拟合：高偏差
过拟合：高方差，代价函数很可能接近0，无法泛化新的样本
解决过拟合的方式：1、减少选取变量 2、正则化

正则化：
引入惩罚因子，越大对应的特征参数更趋向于0。 留下高度相关的特征

神经网络：
第一层为输入层、最后一层为输出层、中间被称为隐藏层
每一次提取相当简单的特征，拟合相对简单的函数，最后组成相对复杂的函数