![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 72
洌泉_就这样吧
Less is more.
展开
-
关于YOLOv1理解的总结
1 YOLO相关内容YOLO即为“you look only once”,通过单次图像输入,即可检测出图像里包含的对象论文出处:You Only Look Once: Unified, Real-Time Object Detection相关的解读文章很多,包括:<机器爱学习>YOLO v1深入理解写给小白的YOLO介绍YOLO V1 深层解读与代码解析【YOLO学习笔记】之YOLO v1 论文笔记1(超详细:翻译+理解)2 YOLO的总结(个人理解,仅作参考)模型思路包括原创 2021-08-13 10:44:33 · 83 阅读 · 0 评论 -
《Attention Is All You Need》笔记
2017 年,Google 机器翻译团队发表的《Attention is All You Need》中,完全抛弃了RNN和CNN等网络结构,而仅仅采用Attention机制来进行机器翻译任务,并且取得了很好的效果,注意力机制也成为了大家近期的研究热点。相关论文链接:https://arxiv.org/pdf/1706.03762.pdf为什么选择self-attention对于序列转换模型(Sequence transduction model)问题,通常是采用RNN模型,包括编码器和解码器的结构,编原创 2021-06-18 11:08:55 · 125 阅读 · 0 评论 -
《动手学深度学习》笔记——优化算法
转载自:https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter07_optimization/7.1_optimization-intro另外,知乎上一篇文章也总结很好,优化算法Optimizer比较和总结优化与深度学习由于优化算法的目标函数通常是一个基于训练数据集的损失函数,优化的目标在于降低训练误差。由于深度学习模型参数通常都是高维的,目标函数的鞍点通常比局部最小值更常见。梯度下降和随机梯度下降使用适当的学习率,沿着梯度反方向更新自变量原创 2021-06-03 15:11:42 · 100 阅读 · 0 评论 -
机器学习/深度学习相关的一些概念
学习的目的不是为了消化,而是为了“吸收”,这个“吸收”不是作为体内储能,而是作为深度记忆模型选择模型选择是机器学习中常用的做法模型选择有两种,一种是字面意思,就是从不同的模型中去选择更合适的,比如做时间序列预测,选择K近邻、支持向量,或者是神经网络模型另一种则是在机器学习中所定义的,对于同一个模型中选择泛化能力最好的超参数,比如在K近邻模型的近邻数K,神经网络模型中的dropout概率等,这些超参数是不能够通过模型训练来优化的,但又是对模型效果产生至关重要的影响交叉验证(cross vali.原创 2021-06-02 17:27:36 · 135 阅读 · 0 评论 -
《动手学深度学习》笔记——应对“过拟合”的方法
过拟合现象即模型的训练误差远小于它在测试集上的误差。虽然增大训练数据集可能会减轻过拟合,但是获取额外的训练数据往往代价高昂。权重衰减权重衰减(weight decay)是应对过拟合问题的常用方法之一,为模型损失函数添加惩罚项使学出的模型参数值较小。权重衰减等价于 L2范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段。L2范数正则化在模型原损失函数基础上添加L2范数惩罚项,从而得到训练所需要最小化的函数。L2范数惩罚项指的是模转载 2021-06-02 14:20:04 · 140 阅读 · 0 评论 -
《动手学深度学习》笔记——模型选择、欠拟合和过拟合
训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。让我们以高考为例来直观地解释训练误差和泛化误差这两个概念。训练误差可以认为是做往年高考试题(训练题)转载 2021-06-02 09:35:32 · 163 阅读 · 0 评论 -
《动手学深度学习》笔记——softmax回归
softmax回归模型模型输出可以是一个像图像类别这样的离散值,对于这样的离散值预测问题,可以使用诸如softmax回归在内的分类模型。和线性回归不同,softmax回归的输出单元从一个变成了多个,且引入了softmax运算使输出更适合离散值的预测和训练虽然我们仍然可以使用回归模型来进行建模,并将预测值就近定点化到1、2和3这3个离散值之一,但这种连续值到离散值的转化通常会影响到分类质量。因此我们一般使用更加适合离散值输出的模型来解决分类问题。softmax回归跟线性回归一样将输入特征与权重做线性叠加原创 2021-06-01 14:31:20 · 253 阅读 · 0 评论 -
《动手学深度学习》笔记——线性回归
原文链接:https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter03_DL-basics/3.1_linear-regression概念线性回归输出是一个连续值,因此适用于回归问题。回归问题在实际中很常见,如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同,分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。基本要素房屋价格预测作为例子来原创 2021-06-01 09:52:08 · 129 阅读 · 0 评论 -
《动手学深度学习》笔记——深度学习简介
原文链接: https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter01_DL-intro/deep-learning-intro机器学习与深度学习通俗来说,机器学习是一门讨论各式各样的适用于不同问题的函数形式,以及如何使用数据来有效地获取函数参数具体值的学科。深度学习是指机器学习中的一类函数,它们的形式通常为多层神经网络。近年来,仰仗着大数据集和强大的硬件,深度学习已逐渐成为处理图像、文本语料和声音信号等复杂高维度数据的主要方法。绝大多数神经网络都包含原创 2021-06-01 09:19:35 · 260 阅读 · 1 评论 -
【持续更新】机器学习&深度学习资源
1 编程语言及框架语言教程:菜鸟联盟:C++,Python3,Java,……Pytorch:PyTorch官方教程中文版、PyTorch 学习笔记、20天吃掉那只Pytorch……2 深度学习教程《动手学深度学习》:中文版+PyTorch、英文版、英文版PDF3 常用工具谷歌学术、谷歌镜像爱斯维尔/ElsevierIEEE XploreSCI-HUBResearchGate4 经典论文LeCun Y, Bengio Y, Hinton G. Deep learn原创 2021-05-27 11:03:24 · 153 阅读 · 2 评论