Deep Learning
文章平均质量分 89
关于深度学习的算法与代码
康康好老啊
God don't let me die but let me suffer, so I play with god.
展开
-
深度学习之激活函数——RReLU
随机修正整流线性单元(RReLU),全称Randomized ReLU,是ReLU的延伸版,也是为了解决dead relu神经元坏死现象而提出的一种激活函数。原创 2024-05-18 14:10:45 · 686 阅读 · 0 评论 -
深度学习之激活函数——PReLU
参数整流线性激活函数(PReLU),全称Parametric ReLU,在解决ReLU激活函数会出现的dead relu神经元死亡的现象的同时,引入一个新的可学习的参数对激活函数进行控制。原创 2024-05-18 13:54:17 · 540 阅读 · 0 评论 -
深度学习之激活函数——ELU
指数线性单元(ELU),全称Exponential Linear Units,使用了指数作为激活函数的一部分。原创 2024-05-18 13:41:36 · 933 阅读 · 0 评论 -
深度学习之激活函数——Leaky ReLU
Leaky ReLU激活函数是为了解决ReLU激活函数会出现的dead relu神经元死亡的现象,而这一现象的根本原因是ReLU函数在x0的范围内梯度恒为0,无法更新参数。所以Leaky ReLU将x0的部分换成一个斜率很小的一个线性函数来解决这一问题。原创 2024-05-18 13:21:49 · 1023 阅读 · 0 评论 -
深度学习之激活函数——ReLU
整流线性单元(ReLU),全称Rectified linear unit,是现代神经网络中最常用的激活函数,大多数前馈神经网络都默认使用该激活函数。原创 2024-05-14 17:57:20 · 733 阅读 · 0 评论 -
深度学习之激活函数——Tanh
双曲正切1函数(tanh),其图像与sigmoid函数十分相近,相当于sigmoid函数的放大版。在实际的使用中,tanh函数要优先于sigmoid函数。原创 2024-05-14 17:06:53 · 363 阅读 · 0 评论 -
深度学习之激活函数——Sigmoid
Sigmoid函数,又称logistic函数,是最早使用的激活函数之一。但是由于其固有存在的一些缺点,如今很少将其作为激活函数,但是依然常用于二分类问题中的概率划分。原创 2024-05-14 15:42:33 · 759 阅读 · 0 评论 -
深度学习之视觉特征提取器——GoogleNet/Inception
从Inception最初提出到Xception,网络深度和网络宽度都不断增加。深度方面,出现了由多层卷积组成的子模块,多层子模块再构成的主模块,此外还利用残差连接的方式缓解梯度消失,为深层网络的应用提供可能。宽度方面,利用不同卷积核处理原始特征,并将处理后的特征进行拼接,其样式更加丰富。整体来说,虽然从单独一个模块的角度来说利用深度可分离卷积等方法使得训练速度加快,但是由于网络深度加深整体运行速度会变慢。原创 2024-05-09 14:49:32 · 838 阅读 · 0 评论 -
深度学习之视觉特征提取器——AlexNet
AlexNet在2012年以第一名在Top-1分类精度霸榜ImageNet,并超过第二名近10个百分点,并且值得说明的是,霸榜2013年的ZFNet也就是对AlexNet进行调参后得到了更好的结果。相比于古早的LeNet实现的十分类,AlexNet能够成功进行一千分类并且达到了一个新高度。此外,AlexNet证明了神经网络的深度对模型效果至关重要,并且可以利用GPU大大加速这一过程。原创 2024-05-06 11:44:01 · 1108 阅读 · 1 评论 -
深度学习之视觉特征提取器——LeNet
LeNet是是由深度学习巨头Yann LeCun在1998年提出,可以算作多层卷积网络在图像识别领域的首次成功应用。我们现在通常说的LeNet是指LeNet-5,最早的LeNet-1在1988年即开始研究,前后持续十年之久。但是,受限于当时计算机算力的发展,以及本有的SVM技术效果就十分优秀,这一技术并没有得到广泛重视。然而,在以卷积神经网络为基础构建起的计算机视觉的今天,不得不感慨,二十年后今天的LLM或者是什么模型,会成为曾经的CNN/LeNet。原创 2024-04-30 20:29:56 · 471 阅读 · 2 评论 -
深度学习之基础模型——长短时记忆网络LSTM
这样做的原理在于,“短期记忆”和“新记忆”拼接起来形成的新张量,如果值比较小说明该记忆不重要,不重要就会被 sigmoid 赋予更接近于 0 的权重,反之则会赋予更接近于 1 的权重。LSTM 的初衷也是如此,通过一些手段使得重要的信息得以保留,而不重要的信息被抛弃,使得重要的信息所占“记忆”的“比重”变高。而“短期记忆线”,顾名思义,主要是汇集短期时间内的输入信息,并根据其重要程度,将重要的传给“长期记忆线”,而将不重要的抛弃,这样“长期记忆线”就能够更好地维持其所拥有的信息更加有效。原创 2024-04-22 13:49:32 · 820 阅读 · 0 评论 -
深度学习之基础模型——循环神经网络RNN
而反过来思考之前主要用于处理图像的 CNN,像素之间虽然确实可能存在潜在的关联,但是宏观角度我们并不清楚他们之间的联系,或者换句话说,图片像素之间的联系是空间维度,而并不是时间维度。比如现在我们想用神经网络处理行人的运动轨迹,如果我们用卷积神经网络,那么对于不同时间的轨迹数据,卷积权重都是一样的。如果我们从存在角度,这个句子如果写在纸上,那么其确实存在于空间维度,但是从理解角度,我们是从“你”字开始,依次往后看“这么”“年轻”“睡得着”,我们需要之前的汉字,才能辅助理解后面的汉字,乃至整个句子。原创 2024-04-22 13:32:09 · 1248 阅读 · 0 评论 -
深度学习之视觉特征提取器——VGG系列
在VGG中,很大的贡献之一是使用了3×3卷积核以替代5×5卷积核、7×7卷积核等。这样的优点有两个:(1)对相同大小的图像使用更小感受野的卷积,就会导致卷积的层数更多,层数更多意味着对非线性的拟合更好。这一点可以类比于高次函数可以拟合的曲线更多、更逼近。比如yaxby=ax+byaxb就难以拟合曲线,而yaxbcxdyaxbcxd就可以拟合部分曲线。(2)对相同大小的图像使用3×3的卷积所需要的参数量更少。原创 2024-04-22 13:03:13 · 906 阅读 · 1 评论