机器学习笔记——人工神经网络(1)

模型表示

简单的神经网络表示
这里写图片描述

[x1x2x3][   ]hθ(x)

神经网络的输入是特征x1,x2,x3,输出是假设函数的结果
在神经网络中,仍采用同样的逻辑函数hθ(x)=11+eθTx
在神经网络中,也称逻辑函数为激励函数,θ参数为权重。
这里写图片描述
x0为偏置单元,它的值总是等于1
上图中,输入节点Layer1称为输入层,输出假设函数结果的Layer3称为输出层,介于输入层与输出层之间的称为隐藏层。
位于隐藏层的节点(或神经元)称为激励单元。
[x0x1x2x3][a1(2)a2(2)a3(2)]hθ(x)

ai(j)="activation" of unit i in layer jΘ(j)=matrix of weights controlling function mapping from layer j to layer j+1

a1(2)=g(Θ10(1)x0+Θ11(1)x1+Θ12(1)x2+Θ13(1)x3)a2(2)=g(Θ20(1)x0+Θ21(1)x1+Θ22(1)x2+Θ23(1)x3)a3(2)=g(Θ30(1)x0+Θ31(1)x1+Θ32(1)x2+Θ33(1)x3)hΘ(x)=a1(3)=g(Θ10(2)a0(2)+Θ11(2)a1(2)+Θ12(2)a2(2)+Θ13(2)a3(2))

假设在Layer j有sj个单元,Layer j+1有sj+1个单元,那么Θ(j)表示从第j层到第j+1层的权重矩阵,是一个sj+1×(sj+1)的矩阵

向量化计算

z1(2)=Θ10(1)x0+Θ11(1)x1+Θ12(1)x2+Θ13(1)x3z2(2)=Θ20(1)x0+Θ21(1)x1+Θ22(1)x2+Θ23(1)x3z3(2)=Θ30(1)x0+Θ31(1)x1+Θ32(1)x2+Θ33(1)x3

即,这里写图片描述,得到如下表示
a1(2)=g(z1(2))a2(2)=g(z2(2))a3(2)=g(z3(2))

xzj的向量形式为
x=[x0x1xn],z(j)=[z1(j)z2(j)zn(j)]

x=a(1),可以写出向量表示的等式zj=Θ(j1)a(j1),Θ(j1)sj×(n+1)的矩阵,a(j1)(n+1)×1的矩阵,得出zjsj×1的矩阵,a(j)=g(z(j))把函数g作用到z(j)的每一个元素上。
在计算了a(j)后,增加偏置单元a0(j)=1,得到zj+1=Θ(j)a(j),进一步计算出最终结果
hΘ(x)=a(j+1)=g(z(j+1))

Example XNOR

AND:Θ(1)=[302020]NOR:Θ(1)=[102020]OR:Θ(1)=[102020]

同或XNOR可以通过与AND、异或NOR、或OR组合得到,在神经网络Layer2计算AND和NOR,再通过Layer3输出层计算OR最终得到XNOR的输出。
[x0x1x2][a1(2)a2(2)][a(3)]hΘ(x)

这里写图片描述

神经网络多类别分类

当进行多类别分类时,使假设函数hΘ(x)的输出值为一个向量。
例如对有4种类别的分类,令这里写图片描述
这里写图片描述

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页