系统学习CV-lesson6-CNN基础/RNN

CNN

归纳偏置

https://zhuanlan.zhihu.com/p/52103577
https://www.zhihu.com/question/41404496/answer/627673667?ivk_sa=1024320u
归纳：找出一定的规则
偏置：对模型做一些选择和约束
从假设空间中选择出更符合现实规则的模型

dropout

https://editor.csdn.net/md/?articleId=117823241
https://zhuanlan.zhihu.com/p/61466723

卷积运算

https://zhuanlan.zhihu.com/p/27908027

$\frac{w+2\ast padding-(dilation\ast (kerne{l}_{s}ize-1)+1)}{stride}+1$

参数共享

减少参数量，防止过拟合，具有平移不变性
空间共享，在不同位置的同一形状就可以被等价识别，所以不需要对每个位置都进行学习
https://www.zhihu.com/question/39022858/answer/194996805

连接稀疏性

kernel是局部连接，提取的是局部特征，不受全局和其他区域的影响
https://blog.csdn.net/fupotui7870/article/details/96348737?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162506014316780265467870%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162506014316780265467870&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_v2~rank_v29-2-96348737.first_rank_v2_pc_rank_v29_1&utm_term=%E5%8D%B7%E7%A7%AF%E7%9A%84%E5%B1%80%E9%83%A8%E7%A8%80%E7%96%8F%E6%80%A7&spm=1018.2226.3001.4187

padding

池化

尺度不变性、降维、防止过拟合，选择强相关的特征

可变性卷积用于旋转不变性和视角不变性

RNN

https://www.bilibili.com/video/BV1fp4y1t7Xb?from=search&seid=13868848247090327863
https://www.bilibili.com/video/BV1gs411c7Sj?from=search&seid=292511365340896208

LSTM

https://zybuluo.com/hanbingtao/note/581764
https://zhuanlan.zhihu.com/p/32085405

GRU

https://www.bilibili.com/video/BV1oh411e72G?from=search&seid=8912655685382963074
https://zhuanlan.zhihu.com/p/32481747

问题

• 相邻的一些特征放在一起，会更容易得到“解”
• 卷积padding实验
• 学习率怎么调整
• earlystop
• matlibplot