神经网络学习

全连接网络入门,前向反向

卷积神经网络入门,相对于全连接网络的详解

卷积核:每一个卷积核可以看做一个特征提取器,不同的卷积核负责提取不同的特征 卷积核左右有差异代表要提取一条竖线 卷积核上下有差异代表要提取一条横线
卷积核的个数如何确定?每一层的卷积核的个数都是相同的吗?
 通常情况下,靠近输入的卷积层,譬如第一层卷积层,会找出一些共性的特征,如手写数字识别中第一层我们设定卷积核个数为5个,一般是找出诸如"横线"、“竖线”、“斜线”等共性特征,我们称之为basic feature,经过max pooling后,在第二层卷积层,设定卷积核个数为20个,可以找出一些相对复杂的特征,如“横折”、“左半圆”、“右半圆”等特征,越往后,卷积核设定的数目越多,越能体现label的特征就越细致,就越容易分类出来

池化:舍弃卷积之后的一些值 突出特征 减少计算量

先做卷积,设计叠加“input-Conv-feature_map-MaxPooing",通过不断的设计卷积核的尺寸(对应不同的特征)提取更多的特征。从而减少数据量和计算量。

做完Conv-MaxPooing后,把得到的结果“拍平”,丢到Flatten层,然后把Flatten层的output放到full connected Layer里,采用softmax对其进行分类。

从零入门深度学习

卷积和全连接的关系 反向传播
卷积核的反向传播
卷积输入的反向传播

反向传播的两个目的:
一:计算损失相对于权重的偏导,用于更新权重
二:计算损失相对于输入数据的偏导,因为本层的输入就是上一次的输出,从而用于计算损失相对于上一层权重的偏导。

则需要计算卷积核中各值的偏导和卷积计算左值的偏导

卷积层用于提取特征 提取水分子中的H O
全连接层用于分类 确定权重 确定H个数是2 O个数是1

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值