![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
跟李沐学AI-动手学深度学习
文章平均质量分 76
洋-葱
无所畏惧
展开
-
第五周作业:卷积神经网络(Part3)
本周论文学习总结《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》论文学习笔记论文改进点:深度可分离卷积。《MobileNetV2: Inverted Residuals and Linear Bottlenecks》论文学习笔记论文改进点:反残差结构,构造两端细,中间粗的网络。《HybridSN: Exploring 3-D–2-DCNN Feature Hierarchy fo原创 2021-10-03 22:01:29 · 276 阅读 · 0 评论 -
第7周学习任务:注意力机制论文泛读
本周泛读了关于注意力机制的几篇文章,对于注意力有了一定的了解。文章目录【BMVC2018】BAM: Bottleneck Attention Module创新点结构图【CVPR2019】Dual Attention Network for Scene Segmentation创新点结构图【CVPR2020】ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks创新点结构图【CVPR2020】Improving原创 2021-10-24 20:13:35 · 897 阅读 · 0 评论 -
跟李沐学AI-动手学深度学习-现代卷积神经网络
AlexNet深度学习之前最火的是机器学习:特征提取。选择核函数来计算相关性。凸优化问题。漂亮的定理。计算机视觉方面之前关注的不是机器学习而是几何学:抽取特征。描述几何(例如多相机),(非)凸优化。漂亮定理。假设满足了,效果很好。在十几年前,计算机视觉中最重要的是特征工程:特征工程是关键。特征描述子:SIFT,SURF。视觉词袋(聚类)。最后用 SVM。数据集ImageNet(2010):自然物体的彩色图片。AlexNet赢得了2012年ImageNet竞赛。原创 2021-09-22 15:00:47 · 1275 阅读 · 1 评论 -
跟李沐学AI-动手学深度学习-卷积神经网络
文章目录从全连接层到卷积二维卷积层代码实现卷积层里的填充和步幅填充步幅代码实现多个输入和输出通道多个输入通道多个输出通道多个输入和输出通道1*1卷积层二维卷积层总结多输入和多输出的代码实现总结:池化层二维最大池化层填充、步幅和多个通道平均池化层总结池化层代码实现从全连接层到卷积引例:分类猫和狗的图片不变性:平移不变性、局部性。图像的平移不变性使我们以相同的方式处理局部图像,而不在乎它的位置。局部性意味着计算相应的隐藏表示只需要一小部分局部图像像素。对全连接层使用平移不变性和局部性得到卷积层!原创 2021-09-17 17:21:21 · 824 阅读 · 0 评论 -
跟李沐学AI-动手学深度学习-深度学习计算
深度学习计算层和块单个神经元:接收一组输入。生成相应的标量输出。具有一组相关参数(这些参数可以更新以优化感兴趣的目标函数)。层:接受一组输入。生成相应的输出。有一组可调整参数描述。为了实现这些复杂的⽹络,我们引⼊了神经⽹络块的概念。块可以描述单个层、由多个层组成的组件或整个模型本⾝。使⽤块进⾏抽象的⼀个好处是可以将⼀些块组合成更⼤的组件,这⼀过程通常是递归的。import torchfrom torch import nnfrom torch.nn import functi原创 2021-09-16 14:56:43 · 572 阅读 · 0 评论 -
跟李沐学AI-动手学深度学习-数值稳定性+模型初始化和激活函数
数值稳定性神经网络的梯度考虑如下有d层的神经网络计算损失l关于参数Wt的梯度数值稳定性的常见两个问题梯度消失 和 梯度爆炸例子: MLP加入如下MLP(为了简单省略了偏移)梯度爆炸使用ReLU作为激活函数。梯度爆炸的问题值超出值域(infinity) 对于16位浮点数尤为严重(数值区间6e-5 - 6e4)。对学习率敏感 如果学习率太大 -> 大参数值 -> 更大的梯度。 如果学习率太...原创 2021-09-11 15:58:50 · 525 阅读 · 0 评论 -
跟李沐学AI-动手学深度学习-权重衰退+Dropout
权重衰退是最广泛使用的正则化的技术之一。使用均方范数作为硬性限制通过限制参数值的选择范围来控制模型容量。通常不限制偏移b(因为限制与不限制的差别不大)。小的θ意味着更强的正则项。使用均方范数作为柔性限制对于每个θ,都可以找到λ使得之前的目标函数等价于下面可以通过拉格朗日乘子来证明。超参数λ控制了正则项的重要程度。λ=0:无作用。λ->是⚮,w*->0。参数更新法则计算梯度时间t更新参数通常在下ηλ <1,在深度学.原创 2021-09-10 21:44:36 · 266 阅读 · 0 评论 -
跟李沐学AI-动手学深度学习-模型选择+过拟合和欠拟合
模型选择训练误差和泛化误差训练误差:模型在训练数据上的误差。泛化误差:模型在新数据上的误差。验证数据集:一个用来评估模型好坏的数据集。测试数据集:只用一次的数据集。K-折交叉验证在没有足够多数据时使用(这是常态)算法:将训练数据分割成K块, for i = 1,....K. 使用第i块作为验证数据集,其余的作为训练数据集。 报告K个验证集误差的平均。常用:K=5或10.总结训练数据集...原创 2021-09-10 12:50:39 · 388 阅读 · 0 评论 -
跟李沐学AI-动手学深度学习-感知机+多层感知机
感知机给定输入x,权重w,和偏移b,感知机输出: 二分类:-1或1。回归输出实数、softmax回归输出概率。训练感知机等价于使用批量大小为1的梯度下降,并使用如下的损失函数:收敛定理数据在半径r内。余量p分类为两类,对于,感知机保证在步后收敛。XOR问题感知机不能拟合XOR函数,它只能产生线性分割面。总结感知机是一个二分类模型,是最早的AI模型之一。 它的求解算法等价于使用批量大小为1的梯度下降。 它不能拟...原创 2021-09-10 10:21:38 · 452 阅读 · 0 评论 -
跟李沐学AI-动手学深度学习-softmax回归+损失函数+图片分类数据集
softmax回归虽然softmax的名字是回归,但是其实它是一个分类问题。回归VS分类回归估计一个连续值 分类预测一个离散类别eg:MNIST:手写数字识别(10类)ImageNet:自然物体分类(1000类)Kaggle上的分类问题:将人类的蛋白质显微镜图片分成28类、将恶意软件分成9个类别、将恶意的Wikipedia评论分成7类。从回归到多类分类回归单连续数值输出 自然区间R 跟真实值的区别作为损失分类通常多个输出 输出i是预测为第i类的置信度从.原创 2021-09-07 20:26:45 · 575 阅读 · 0 评论 -
跟李沐学AI-动手学深度学习-线性回归+基础优化算法
回归(regression)是指⼀类为⼀个或多个⾃变量与因变量之间关系建模的⽅法。在⾃然科学和社会科学领域,回归经常⽤来表⽰输⼊和输出之间的关系。 在机器学习领域中的⼤多数任务通常都与预测(prediction)有关。当我们想预测⼀个数值时,就会涉及到 回归问题。常⻅的例⼦包括:预测价格(房屋、股票等)、预测住院时间(针对住院病⼈)、预测需求(零售 销量)等。但不是所有的预测都是回归问题。线性回归eg:房价预测:一个简化模型假设1:影响房价的关键因素是卧室个数、卫生间个数和居住面积,记为x原创 2021-09-06 15:51:54 · 374 阅读 · 0 评论