吴恩达2014机器学习TIPS记录（第一周至第六周）

 

 

第二周：分类/聚类的区别

聚类只有{x},依据x直接得出可能的几组数据（一般基于距离进行分类）

分类有{x,y},依据y的结果进行分类（包括线性拟合、logistic、SVM等）

 

对于线性回归，可使用正规方程求解。具体证明过程详见：

 

http://www.cnblogs.com/hust-ghtao/archive/2014/03/04/3580188.html

大体过程可理解为对梯度公式（J(theta）求导结果）求导数

 

 

第三周：

线性方程和logistics方程的J函数表达形式一致。

论证过程详见：

http://blog.csdn.net/stdcoutzyx/article/details/9113681

 

 

注1：梯度下降主要有3种方法：

梯度下降Batch Gradient Descent

随机梯度下降：Stochastic Gradient Descent

小批量梯度下降Mini-batch Gradient Descent

注2：实际MATLAB应用的L-BFGS等方法应用了较为复杂的算法，可WIKI。

 

7.2：代价函数：

配置正则化后，theta必然小于原有的拟合结果的theta

正规方程通过添加参数的方式同样可解。同时还避免了pinv()函数不可逆的问题（但m<=n时，原矩阵不可逆）

 

正则表达式参见博文：

http://blog.csdn.net/zouxy09/article/details/24971995/

 

 

8.2 NN

加入a0、a0(2)的意义：

NN的每次计算的函数可以分为两步：

第一步是线性求解z；

第二步是z非线性变换为a

常见的NN的非线性的函数g包括：

SVM、sigmoid(logistic)、Relu、tanh、softmax等。

 

以下图OR函数为例，通过增加了a0这个参数，才能通过对输出值的调整，实现OR函数。

 

 

 

对于δ△的下标的定义的确认：

前向传播时：Θij:i是第一个输出，j是第x的输入（所以Θ2,3（2）就是第二层第三个元素转移到第三层第2个元素的Θ参数（特别说明：常数项的j是0）

反向传播时：

 

假设第二层 15个元素，第三层10个元素，则δ(3)是10*1的输出 δ(2)是15*1 ---15含常数项。

 

 

△ij(l)代表第l层的第i个单元受到l+1层的第j个参数影响导致的误差：

 

△7,3(2)代表第2层的第7个单元受到第3个参数(第三层）影响导致的误差：

 

 

 

参考前述计算J(Θ)的过程，应该是a(2)是含常数项的；δ（3）不含常数项--即

i，3,（第三层）不含常数项----反向传播的后一层，logistic的输出

j，7,（第二层）不含常数项----反向传播的前一层，logistic的输入。 ---不含常数项的原因是常数项不可能有偏差（类似于l不可能为1，因为x不可能有δ）

δ2(3) =Θ12(3) *δ1(4)

 

第三层的第二个非常数变量的δ（偏差值）来自于第四次δ乘以第三层到第四层的Θ的参数

 

 

NN算法的最终目标：

 

给定x-y的组合：结合使用前向算法与后向算法，最小化(△,cost函数)

 

 

9.5 梯度检验

 

即使用 J(Θ+ε）-J(Θ-ε)/2ε计算得到双边导数（一般ε取0.0001）和真实的梯度下降方法计算出来的DVec做对比，判断误差程度。

 

 

说明：在真实的计算过程中：需要关闭checking算法，因为非常慢；而反向传播算法非常高效。

 

 

10.3 模型选择和交叉验证集

 

 

基础概念：使用 60%的数据作为训练集，使用 20%的数据作为交叉验证集，使用 20%的数据作为测试集

划分CV和test两个组的意义：

CV组确定d（模型参数），test组确定最终J（最终的cost结果）

可参考：http://blog.csdn.net/lhx878619717/article/details/49079785

 

 

 

 

可参考资料：

http://mooc.guokr.com/note/16274/

全课程笔记+录像