AlexNet笔记

最新推荐文章于 2024-03-12 16:32:33 发布

B1CK

最新推荐文章于 2024-03-12 16:32:33 发布

阅读量701

点赞数 2

分类专栏：论文笔记

本文链接：https://blog.csdn.net/qq_52038588/article/details/127042166

版权

论文笔记专栏收录该内容

35 篇文章 0 订阅

订阅专栏

本文是我看论文时写的知识点摘要

基础知识:

P问题（ Polynomial ）:有多项式时间算法，O（n^k）

NP问题（ nondeterministic Polynomial ）：如果可以在多项式级的时间里去验证问题的任意给定解是否有效，则该问题是NP问题

NPC问题：1.是NP问题2.所有NP问题可以归约成该问题并得到解

NP-hard：满足2但不满足1

贝叶斯公式：P (A|B)=P (B|A)*P (A)/P (B)

先验概率：统计得到的

后验概率：P(X|Y)

正则化regularization：

我理解成约束化，通过在最小化经验误差函数（训练集上的误差，得不到真实的期望风险）上加上约束项解决过拟合。

作用：解决过拟合、降低模型复杂度、让先验知识融入到模型的学习。
$监督学习目标函数：w^{*}=\arg \min _{w} \sum_{i} L\left(y_{i}, f\left(x_{i} ; w\right)\right)+\lambda \Omega(w)$
前面一项为loss函数（loss函数不同拟合不同，有最小二乘、SVM、Boosting等），后面的Omega就是正则化函数（对权重向量w约束化）

L0正则化：
$\|x\|_{0}=\sum_{i=1}^{k}\left|x_{i}\right|^{0}$
表示向量中非0元素的个数。用L0约束就是让w的大部分元素为0，即稀疏（适合稀疏编码，视觉皮层就是稀疏编码，计算简便）但是是nphard，一般用L1。

L1正则化（Lasso回归）：
$\|x\|_{1}=\sum_{i=1}^{k}\left|x_{i}\right|$
向量中各个元素绝对值之和，使用L1范数可以使得权值稀疏。

L2正则化（Ridge回归/岭回归）：
$\|x\|_{2}=\sqrt{\sum_{i=1}^{k}\left|x_{i}\right|^{2}}$
用于改善过拟合

对比
1.L1会趋向于产生少量的特征，而其他的特征都是0(稀疏性)，而L2会选择更多的特征，这些特征都会接近于0(平滑性)。
2.L1范数可以使权值稀疏，方便特征提取。L2范数可以防止过拟合，提升模型的泛化能力。
参考：正则化

AlexNet

模型分割和GPU技术方面暂时用不到就先跳过，以后用到再看
在这里插入图片描述
1.输入224 *224 *3通道的图片，卷积核大小为11 *11 *3通道，步长为4，padding为2

为什么会有padding？
后面的大小为55 * 55，padding=0时，（224-11+2*0）/4+1=54，不符合
增加padding后图片大小是227 * 227
计算参考：https://blog.csdn.net/liuweiyuxiang/article/details/88111943

2.得到的特征映射组大小为55 * 55 * 48通道（一个GPU48个，两个GPU96通道，代表语义空间种类）：