‘’
第一章
- 监督学习:通过已有的训练样本(即已知数据以及其对应的输出)来训练,从而得到一个最优模型,再利用这个模型将所有新的数据样本映射为相应的输出结果,对输出结果进行简单的判断从而实现分类的目的,那么这个最优模型也就具有了对未知数据进行分类的能力。
- 无监督学习:事先没有任何训练数据样本,需要直接对数/。/。;l据进行建模
第二章 线性回归
-
假设函数/代价函数(碗装的图形)
-
梯度下降(重复算法,直到得到局部最优解。)
拓展知识矩阵和向量
1.Aij 向量:An1的矩阵
2.加法和标量相乘
3.矩阵向量乘法(mnXn1=m1)
4.逆与转置第四章 多元线性回归
多元梯度下降法
-
特征缩放: 有的时候我们的数据过大,会导致在使用梯度下降算法时候很难收敛,或者收敛很慢。确保不同特征的取值在相近的范围内,使得特征下降法可以更快的收敛
1.使得特征值x最好在-1~1的范围内
-
均值归一化: 特征值等于x减去平均值再除以范围
-
*学习率:*只要学习率足够小,代价函数都会下降。但收敛速度可能会慢。 但如果学习率太大。代价函数可能不会每次迭代都下降或者收敛。
-
多项式回归:
正规方程法:
梯度下降法与正规方程法比较:
第六章 逻辑回归
- 逻辑回归 :0<=h(x)<=1
- 决策界限
-我们的假设函数,在处理数据的基础上在带入sigmoid函数,得到在0~1之间的值。
- 代价函数
- 梯度下降求最小值
第七章
- 过拟合问题
解决办法:1,减少选取变量的数量。2,正则化。
线性回归:
1.正则化
1.1梯度下降变化
1.2正则线性回归
- 逻辑回归正则化
第八章 神经网络
-
结构:
其中x1、x2、x3是输入单元,我们将原始数据输入给他们。a1、a2、a3是中间单元,呈递到下一层。最后是输出单元,负责计
算
-
神经网络:
其中,a{_{i}{\left ( j \right )}}代表的是第j层的第i个激活单元。\Theta ^{\left ( j \right )}代表从第j层映射到第j+1层的权重(weight)。 -
前向传播算法:
从左到右一点一点计算出假设函数
6+
-
非线性假设模型
-
代价函数
-
逻辑回归的代价函数:
逻辑回归中,只有一个输出变量,一个因变量。而神经网络中有什么输出变量,代价函数会复杂一些。
-
反向传播算法
-
训练神经网络的步骤
1.权重theta随机初始化,范围-e~+e
2.进行反向传播算法
3.梯度检验
4.梯度下降,才最小化代价函数J(色它)
第十章 评估假设
- 错误分类
- 模型选择和训练、验证
- 学习曲线
- 判断那个方法有效:
- 高偏差(欠拟合):模型过于简单
- 高方差(过拟合):模型过于复杂,训练数据太少
- 收集更多的训练集–>解决高方差
- 减少特征量–>解决高方差
- 获得其他特征量
- 增加多项式特征——>修正高偏差
- 增大或减小郎母达
- 误差分析
第十二章 优化目标
- 大间隔分类器的数学原理
- 核函数
- 复杂特征:
- 核函数与相似函数:
- 例子:
- 使用核函数的SVM算法最小化问题
- 使用SVM
1.选择参数C 2.选择要用的相似函数 3.选择参数死他平方 (高斯内核函数,n小m大时选择) - SVM的参数
第十三章 无监督学习
- ** 聚类算法**
- 1.K均值算法(K-means算法):是个迭代算法
第一步:簇分配 第二步:移动聚类中心 然后反复第一二步
- ** 优化目标函数**
- ** 随机初始化**(应用于聚类数目小)
1.随机选取一个样本作为聚类中心
2.运行K均值算法,得到一系列C(1),C(2),C(m),u1,u2,uk
3.计算优化目标函数
4.选取代价最小的聚类数 - ** 选取聚类数量**
1.肘部法则
第十四章 数据压缩
- 降维、可视化
- 降维算法——主成分分析方法(PCA)
1.在使用PCA之前,先进行均值归一化和特征规范化,使x1,x2的均值为0
2.找到低维平面,对数据进行投影,以使最小化投影误差的平方。
2.1降维的过程
2.1.1计算协方差: