深度学习神经网络入门到实践—入门

本文探讨了深度学习在自动特征提取中的应用,强调数据量的重要性,介绍了计算机视觉任务中的问题,如背景融入等。涉及神经网络的基础,包括得分函数、损失函数、前向传播和反向传播,以及神经元数量、正则化和过拟合的处理方法。
摘要由CSDN通过智能技术生成

f8d8f9c64af141f8b60da27de4d4e174.png

 参考B站视频

 

P1深度学习要解决的问题

自动进行特征提取

P2应用

深度学习在几万数据量上才表现的较好,数据量太小和传统人工智能算法没啥差别。

输入数据时,可以对输入的图片进行翻转镜面等操作。

李飞飞创建的数据集:

79fe8f9a058e45cca4e8e3ff07134c09.png

P3计算机视觉任务

定一个图片,计算机给出这个图片的标签

1dc5c800727d41c98c062db6b10cd9a7.png 

会遇到各种问题,比如背景融入、形状改变、遮蔽、拍摄角度等问题,需要加大数据量,多给出一些已知图片和标签的数据。

P4视觉任务中遇到的问题

采用k近邻算法容易以背景为主导

13ed4384d50845bfaf9d3667d96d0449.png

ddabef0c5626410aaf1a2184e586afaa.png 

 

P5神经网络基础——得分函数

这里的得分函数大概就是权重,权重的意思也就是每个像素点属于猫或者狗这类结果的得分,下面这张图里,总共有10种分类结果。

909d2eb80491462fb1bafb6102ada898.png

P6损失函数的作用

a5d26695196e4333b1f3e5429dda6e5a.png

 

P7前向传播整体流程

前向传播也就是顺着下来得到损失值或者概率值即可(暂时不考虑模型更新)

Softmax分类器可以得到概率值

f80f45af781b4f8c9f3f6ab998fa6b82.png

63558d23c0a744038bb4475f8f3f3934.png 

efc1ceeb832f4bb9b52a98f5dbad2462.png 

f556c2493a454fb6aaa8c4a27b80a19d.png 

 

P8反向传播计算方法

复习一下逻辑回归里的梯度下降,依靠梯度下降进行反向传播。

f85103b13d754fc9bd935566c692b3ef.png

感觉这里更新的红色的值,只是走的一步。 2461a33b50bc4e01b5ee206e10c125c9.png

b017d03285bf43d28ed1b6926a81ffb8.png

d0713ce6cc86424686802e8baf2de38e.png

 

2fc92ba656804d5c854c429a3c5a2e53.png 

 

P9、P10神经网络整体架构及细节

85935c5dc56c453c9eaa7c7a6b18d7b6.png

01f4f7c682564c1f99dc493eceb5e84e.png 

P11神经元个数对结果的影响 

http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

可以去这个网站改神经元的个数观察,理论上是神经元个数越多越好,

不过28 、64是常见的神经元个数, 太多了会过拟合。

P12正则化与激活函数

d5115c729abc4976832add4dbc718a2e.png

61ba412f9f374a0882843fbdc8820344.png 

P13神经网络过拟合的解决办法 

3489bb8f730a4f9da674fc9ac6e6ab28.png

1d4454137cd4464e899bef640cea847f.png 

 

 

 

 

 

 

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值