谷歌机器学习速成课程笔记 14(Introduction of Neural Network-神经网络简介)

仍然是邮件分类问题。

这里写图片描述
如果正负样本是上图那样分布,我们可以使用特征交叉乘积轻松地对邮件分类。但是稍微复杂的分布又要怎么样呢?
这里写图片描述
分布可能很复杂,但是我们还是希望有某种方法让模型自动学习非线性规律,而不用我们手动为其指定参数,这种方法就是——深度神经网络。

深度神经网络——可以非常出色地处理复杂数据(图像数据,音频数据,视频数据等)


如何让模型自动学习非线性规律,而不用我们手动为其指定参数??——我们可能需要给模型添加一些额外的结构。
这里写图片描述
线性模型如上图所示,如果我们想要得到非线性规律,则需要在线性模型再添加一个层。
这里写图片描述
第二层再以线性范式相结合。。。。但是,因为线性函数的线性组合仍然是线性的,也就是说我们仍未实现任何非线性规律!!

所以很明显,我们需要再加一层,对吧?——恩。。再加一层后,该模型依然是线性模型——因为即便添加多少的分层,所有的线性函数的组合仍然是线性的!
这里写图片描述


那么我们就要从其他方面下手了——另辟蹊径——添加非线性函数的层。
这里写图片描述
这种非线性函数可以位于任何晓得隐藏式节点的输出中。
这里写图片描述

ReLU会接受线性函数,并在零值出将其截断。
1、如果函数返回值是大于0 的,则为线性函数;
2、如果函数返回值是小于0 的,则输出为 0 ;

ReLU是一种最简单的非线性函数,我们可以用它来创建非线性模型。

我们也可以使用其他的非线性函数,但ReLU可以说以及足够了,它能提供关于很多问题的先进研究成果,而且操作简单。


这里写图片描述
现在,当我们训练这些神经网络是,很明显,我们面临的是非凸优化问题,因此可能需要初始化。
我们训练这些神经网络是使用的方法叫“反向传播” ,它是梯度下降法的变形。通过反向传播,我们能够以合理高效的方式,对非凸优化问题执行梯度下降。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值