深度学习刷题

本文探讨深度学习中的卷积神经网络,解释了局部连接和参数共享如何减少参数数量,降低过拟合风险。讨论了卷积核大小、步长、池化和激活函数的影响,如ReLU。还提到了数据增强、批规范化、Dropout等优化技术,以及深度学习在NLP中的应用。此外,对比了不同的正则化方法,如Boosting、Bagging和Stacking,并介绍了评估指标混沌度。
摘要由CSDN通过智能技术生成
  1. 卷积神经网络中的参数共享和局部连接:

    • 网络局部连接和卷积核参数共享,二者都是为了减少参数的数量。
    • 局部连接,就是卷积层的节点仅仅和其前一层的部分节点相连接,只用来学习局部特征。这种局部连接的方式大幅减少了参数数量,加快了学习速率,同时也在一定程度上减少了过拟合的可能。
    • 权值共享:就是整张图片在使用同一个卷积核内的参数。在每个位置进行特征提取的时候都是共享一个卷积核,
  2. 感受野是:现在的一个像素对应原来的多少个像素
    计算方法:前一个=(现在的-1)乘 步长加卷积核大小

  3. 深度学习是直接从数据中自动学习到特征,无需提前提取

  4. 卷积后输出:W或H=[(输入大小-卷积核大小+2*P)/步长] +1.
    不能整除时,一般去掉小数部分取整,如4.5,则取4

  5. 对于数据过大以至于无法在RAM中同时处理时, RAM每次只能装一个样本, 那么只能选随机梯度下降法。

  6. 卷积函数是线性的,一般情况下,卷积层后会跟一个非线性函数。Relu函数是非线性激活函数

  7. 卷积核的大小是一个超参数,也就意味着改变它有可能增强也可能降低模型的性能。 并不是越大越好。

  8. blob是caffe的数据存储单元,layer才是计算单元!

  9. googlenet提出的Inception结构优势有(利用该结构有效减轻网络的权重)

  10. 训练CNN时,可以对输入进行旋

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值