深度学习实践
文章平均质量分 85
HanZee
过去不追究,未来不将就。
展开
-
深度学习:Pytorch笔记
这个方法可以把不可以训练的Tensor变成可以通过反向传播更新的参数。打印结果分别为 线性回归的输出 与模型的参数。下面是 引用 nn.Parameter()的版本。发现可更新的参数多了个test。原创 2023-02-04 23:55:24 · 300 阅读 · 0 评论 -
深度学习:GoogLeNet核心思想详细讲解(原创)
如果想提高模型的性能,作者认为:当模型的层数足够深,标注好的数据足够多的时候,那么将很高效的训练出一个精度不错的模型。但是这个方案有两个缺点:在矩阵中,若数值为0的元素数目远远多于非0元素的数目,并且非0元素分布没有规律时,则称该矩阵为稀疏矩阵;与之相反,若非0元素数目占大多数时,则称该矩阵为稠密矩阵。定义非零元素的总数比上矩阵所有元素的总数为矩阵的稠密度。根据上面的缺点,作者认为我们应该把全连接层替换成稀疏连接结构,这样就可以避免计算资源的浪费,加速收敛。作者还提到了Hebbian principle,原创 2022-10-28 23:27:05 · 622 阅读 · 0 评论 -
深度学习:NiN(Network In Network)详细讲解与代码实现
1 * 1卷积实际上就是对特征图所有channel对应的像素点做全连接网络,由于它只考虑了1个像素点,它不像3 * 3卷积那样可以考虑周围像素点,但是可以让特征图在不需要padding的情况下保证的H、W不变,也就是融合了买个像素点不同通道的特征所以它也有跨通道交融的作用。卷积核的数量决定了输出的维度,所以用1 * 1卷积只会改变特征图的channel数,这也就是1 * 1卷积有升维 、降维的作用,在维度降低的同时,计算量也就减少了,模型速度会变快,与此同时,它在保留了空间信息的同时,还增加了非线性激活函数原创 2022-10-23 16:31:19 · 1419 阅读 · 0 评论 -
深度学习:VGG(Vision Geometrical Group)论文详细讲解
💡虽然AlexNet证明深层神经网络卓有成效,但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。与芯片设计中工程师从放置晶体管到逻辑元件再到逻辑块的过程类似,神经网络架构的设计也逐渐变得更加抽象。研究人员开始从单个神经元的角度思考问题,发展到整个层,现在又转向块,重复层的模式。使用块的想法首先出现在牛津大学的视觉几何组(visualgeometrygroup)的VGG网络中。通过使用循环和子程序,可以很容易地在任何现代深度学习框架的代码中实现这些重复的架构。原创 2022-10-20 19:36:15 · 1115 阅读 · 0 评论 -
深度学习:AlexNet实现服装分类(Pytorch)
2012年,AlexNet横空出世。它首次证明了学习到的特征可以超越手工设计的特征。它一举打破了计算机视觉研究的现状。AlexNet使用了8层卷积神经网络,并以很大的优势赢得了2012年ImageNet图像识别挑战赛。AlexNet和LeNet的架构非常相似,如 图7.1.2所示。注意,这里我们提供了一个稍微精简版本的AlexNet,去除了当年需要两个小型GPU同时运算的设计特点。net = nn . Sequential(# 这里,我们使用一个11*11的更大窗口来捕捉对象。原创 2022-10-14 22:38:01 · 1536 阅读 · 0 评论 -
深度学习:LeNet-5实现服装分类(PyTorch)
卷积神经网络详细指南SGD+动量法反向传播公式推导它的网络架构如下:每个卷积层的卷积核size:5*5,激活函数采用Sigmoid,卷积层跟上1个平均池化层。第一个卷积层有6个输出通道(也就是6个卷积核),第二个卷积层有16个输出通道。为了更好的提取、整理特征,第二个卷积层后卷积层后面是全连接层,输出分别为:120、84、10,其中最后一层就是分类的数量。我们可以通过框架中的内置函数将Fashion-MNIST数据集下载并读取到内存中。定义模型测试数据训练模型结果展示原创 2022-10-13 19:19:48 · 1497 阅读 · 0 评论 -
教你如何用家里闲置的Windows电脑搭建GPU服务器炼丹(无公网IP)
动手搭建服务器原创 2022-10-11 23:58:44 · 3363 阅读 · 0 评论 -
深度学习:动量梯度下降法理论详解+代码实现
其中偏导数代表了这个维度上移动的方向,学习率代表步长,我们把偏导数在每次优化参数时替换成加权平均的偏导数,这样考虑可以考虑前面的方向,因为当前方向前面的竖直方向是相反的,水平方向是相同的,于是就可以让函数值下降的震荡减小,速度加快。这种方法是好处是可以节约空间,算数平均法需要保留所有值才可以求平均,而指数加权平均只需要保留当前的平均值与当前时刻的值即可,在深度学习含量数据的背景下,可以节约内存并加速运算。现在,我们就又了优化的方向了,如果把竖直方向削弱,水平方向增强,我们的优化速度会事半功倍。原创 2022-09-26 15:25:37 · 1280 阅读 · 0 评论 -
深度学习:Xavier初始化理论+代码实现
我们发现,经过激活函数,变成了之前的alpha 方倍,为了保持方差不变,让 alpha =1。也就是说,我们的激活函数尽量选择与y =x 接近的函数,才可以在Xavier上表现较好。为输出层,我们假设权重系数W~iid(independent identically distribution),均值为0,方差为a,其中。的均值,因为t层最初可以追溯到数据输入层,可以通过归一化的手段控制,所以我们直接考虑t+1层。我们拿mlp举例,为了方便运算,忽略激活函数,上图是神经网络的一部分,我们假设。原创 2022-09-24 22:28:51 · 1162 阅读 · 0 评论 -
深度学习:Nan与Inf是如何造成的?
训练模型是nan与inf如何造成的与如何避免原创 2022-09-22 14:31:08 · 588 阅读 · 0 评论 -
深度学习:手写反向传播算法(BackPropagation)与代码实现
反向传播理论推导与代码实现原创 2022-09-03 17:11:37 · 2064 阅读 · 0 评论 -
深度学习:25行代码实现口罩识别
深度学习:不到25行代码实现口罩识别(电脑端可直接运行)import cv2import paddlehub as hubmodule = hub.Module(name="pyramidbox_lite_mobile_mask")video_capture = cv2.VideoCapture(0)font = cv2.cv2.FONT_HERSHEY_SIMPLEXwhile True: ret, frame = video_capture.read() results =原创 2022-04-17 23:21:56 · 3259 阅读 · 0 评论