机器学习之——神经网络学习

原创 2016年05月31日 16:41:09

很久没更新博客了,这一次我们继续之前的机器学习的课程,这一节我们讨论机器学习里面重要的一个算法——神经网络(Nerual Network)的学习部分。

神经网络的代价函数

首先我们要引入一些标记,以便在后面讨论中使用:


我们回想一下,在逻辑回归(Logistic Regression)问题中,我们的代价函数(Cost Function)如下:


在逻辑回归中,我们只有一个输出变量,又称作标量(Scalar),也只有一个因变量y,但是在神经网络中,我们可以有很多输出变量,我们的hø(x)是一个维度为K的向量,并且我们训练集中的因变量也是同样维度的一个向量,因此我们的代价函数会比逻辑回归更加复杂一些,如下所示:


这个代价函数看起来复杂很多,但是背后的思想还是一样的。我们希望能够通过代价函数来观察算法预测的结果与真实情况的误差有多大,唯一不同的是,对于每一行特征,我们都会给出K个预测,基本上我们可以利用循环,对每一行特征都预测K个不同的结果,然后再利用循环在K个预测中选择可能性最大的一个,将其与y中的实际数据进行对比。

归一化的哪一项只是排除了每一层的ø0后,每一层的ø矩阵的和。最里层的循环 j 循环所有的行(由si +1层的激活单元书决定),循环 i 则循环所有的列,由该层(si 层)的激活单元数所决定。


反向传播算法(Backpropagation Algorithm)

之前我们在计算神经网络预测结果的时候,我们采用了一种正向传播方法,我们从第一层开始正向一层一层进行计算,直到最后一层的hø(x)。

现在,为了计算代价函数的偏导数:


我们需要采用一种反向传播算法,也就是首先计算最后一层的误差,然后再一层一层反向求出各层的误差,直到倒数第二层。

我们用一个例子来说明反向传播算法。

假设,我们的训练集只有一个实例(x(1), y(1)),我们的神经网络是一个四层的神经网络,其中:K=4,SL=4,L=4 


我们从最后一层的误差开始计算,误差是激活单元的预测()与实际值(yk)之间的误差(k=1:K)。我们用来表示误差,则:


我们利用这个误差值来计算前一层的误差:


其中g'(Z(3))是S形函数的导数,g'(Z(3))=a(3).*(1-a(3))。而则是权重导致的误差的和。

下一步是继续计算第二层的误差:


因为第一层是输入变量,不存在误差。我们有了所有的误差的表达式之后,便可以计算代价函数的偏导数了,假设λ=0,即我们不做任何归一化处理时有:


重要的是清楚地知道上面式子中上下标的含义:


如果我们考虑归一化处理,并且我们的训练集是一个特征矩阵而非向量。在上面的特殊情况中,我们需要计算每一层的误差单元来计算代价函数的偏导数。在更为一般的情况中,我们同样需要计算每一层的误差单元,但是我们需要为整个训练集计算误差单元,此时的误差单元也是一个矩阵,我们用来表示这个误差矩阵。第 l 层的第 i 个激活单元收到第 j 个参数影响而导致的误差。

我们的算法表示为:


即首先使用正向传播方法计算出每一层的激活单元,利用训练集的结果与神经网络预测的结果求出最后一层的误差,然后利用该误差运用反向传播法计算出直至第二层的所有误差。

在求出了之后,我们便可以计算代价函数的偏导数了,计算方法如下:


在Octave或者Matlab中,如果我们使用 fminuc 这样的优化算法求解求出权重矩阵,我们需要将矩阵首先展开为向量,再利用算法求出最优解后再重新转换回矩阵。

假设我们有三个权重矩阵,theta1,theta2和theta3,尺寸分别为10*11,10*11和1*11,下面的代码可以实现这样的转换:


这一次我们讨论到这里,下一回我们继续学习神经网络的梯度检验(Gradient Checking)随机初始化(Random Initialization)

版权声明:本文为郭了个治浩(http://ninty.cc)原创文章,未经允许不得转载。

机器学习之——机器学习应用建议

机器学习的应用建议 好久没有更新机器学习的学习笔记了,上一次还是更新的神经网络的部分。这一次我们来聊一聊,机器学习的应用建议。 决定下一步做什么 假设我们需要用一个线性回归模型(Line...

机器学习之——初识神经网络

在讨论神经网络之前,我们先回顾一下之前的一系列讨论。 之前我们已经讨论过,非线性假设(Non-Linear Hypothesis),使用非线性的多项式能够帮助我们建立更好的分类模型(Classifi...

机器学习-第四周作业——构建深度神经网络

Building your Deep Neural Network: Step by Step Welcome to your week 4 assignment (part 1 of 2)! Yo...

机器学习基础(一)——人工神经网络与简单的感知器

机器学习基础(一)——人工神经网络与简单的感知器

神经网络与机器学习笔记——Rosenblatt感知器

Rosenblatt感知器 感知器是用于线性可分模式(模式分别位于超平面两边)分类的最简单的神经网络模型,基本上由一个具有可调突触权值和偏置的神经元组成。 Rosenblatt证明了当用来训练感知器的...
  • LXYTSOS
  • LXYTSOS
  • 2015年05月01日 10:22
  • 4676

台湾大学机器学习笔记——Neural Network 神经网络

今天介绍一下Neural NetWork,都是一下个人理解,认真看的话看懂肯定不是问题。个人微信公众号:计算机金融阅读。欢迎关注。 1.首先介绍一下神经网络的基本组成,从左边开始,那些x就是输入样本...

机器学习——神经网络

机器学习中的神经网络算法。

机器学习笔记——神经网络的实现

0x00 前言这篇算是神经网络学习的一篇实现总结,神经网络算法无疑是最好的实现人类“人工智能”的算法,与安全相关的是,神经网络已经在WAF领域、SQL注入检测、Webshell检测领域有了方法论,为了...

【机器学习算法模型】分类算法——人工神经网络

【机器学习算法模型】分类算法——人工神经网络

[Mitchell 机器学习读书笔记]——人工神经网络

1、简介           神经网络学习方法对于逼近实数值、离散值或向量值的目标函数提供了一种健壮性很强的方法。在现实中,学习解释复杂的现实世界中的传感器数据,人工神经网络(Artificial ...
  • AIvin24
  • AIvin24
  • 2012年08月31日 18:09
  • 4005
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习之——神经网络学习
举报原因:
原因补充:

(最多只允许输入30个字)