【机器学习】神经网络(一)——多类分类问题

一、问题引入
早在监督学习中我们已经使用Logistic回归很好地解决二类分类问题。但现实生活中,更多的是多类分类问题(比如识别10个手写数字)。本文引入神经网络模型解决多类分类问题。

二、神经网络模型介绍

神经网络模型是一个非常强大的模型,起源于尝试让机器模仿大脑的算法,在80年代和90年代早期非常流行。同时它又是一个十分复杂的模型,导致其计算量非常巨大,所以在90年代后期逐渐衰落。近年来得益于计算机硬件能力,又开始流行起来。人类的大脑是一个十分神奇的东西,尽管当今人工智能科技已经十分发达,但很大程度上,无论建立一个多么完美的模型,其学习能力目前仍然逊色于大脑。因此神经网络是人工智能领域的一个热门研究方向。
1.神经网络模型
为了描述神经网络模型,我们先从最简单的神经网络讲起,这个神经网络仅由一个“神经元”构成,以下即是这个“神经元”的图示:
这里写图片描述
其中x1, x2, x3称为输入(来自与其他神经元的输入信号), x0称为偏置单元(bias unit), θ称为权重或参数, hθ(x)称为激活函数(activation function), 这里的激活函数用了sigmoid(logistic) 函数:这里写图片描述
多个神经元组合在一起,便形成了神经网络,如下图:
这里写图片描述
第一层称为输入层(input layer),第二层是隐藏层(hidden layer),第三层是输出层(output layer),注意输入层和隐藏层都存在一个偏置单元(bias unit)。其中,x0 是第一层的偏置单元(设置为1),这里写图片描述是对应该偏置单元 x0 的权值;这里写图片描述是第二层的偏置单元,这里写图片描述是对应的权值。 以此类推,这里写图片描述是第j层的第i个激活函数,这里写图片描述从第j层映射到第j+1层的控制函数的权重矩阵。计算激活值时(以这里写图片描述为例)按照下式计算:
这里写图片描述
以此类推,上述神经网络模型可表示为:
这里写图片描述
从该计算过程可以看出,神经网络在对样本进行预测时,是从第一层(输入层)开始,层层向前计算激活值,直观上看这是一种层层向前传

  • 16
    点赞
  • 99
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值