![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 92
洛杉矶县牛肉板面
hello world!
展开
-
深度学习 常考简答题--[HBU]期末复习
期末简答复习整理 HBU原创 2024-01-08 16:19:49 · 3374 阅读 · 0 评论 -
NNDL 作业13 优化算法3D可视化 [HBU]
可以看出,AdaGrad图中的轨迹图都是刚开始速度明显大于RMSprop和SGD算法的,偶尔比Momentum和Nesterov还要快,但是随着时间的增长,AdaGrad会成为图中速度最慢的算法。收敛速度快解决了AdaGrad算法的早停问题: 引入了衰减率,不会一直累积梯度平方,而是通过梯度平方的指数衰减移动平均来调整学习率,解决了AdaGrad的早衰问题。SGD较于其他几个算法,速度相对较慢,会呈现“之”字型的轨迹,并且在cs231经典动画中,SGD出现了陷入局部最小值,出不来的情况。原创 2024-01-03 23:25:51 · 1243 阅读 · 0 评论 -
NNDL学期知识点总结 [HBU]
人工智能-机器学习-深度学习 概念整理-CSDN博客[23-24 秋学期] NNDL-作业2 HBU-CSDN博客NNDL作业-Softmax回归风险函数与正则化 HBU-CSDN博客[23-24 秋学期] NNDL 作业4 前馈神经网络 HBU-CSDN博客[23-24秋学期]NNDL作业5 第四章课后习题 HBU_如果限制一个全连接神经网络的总神经元数量(不考虑输入层) 为n+1.输入层大小-CSDN博客[23-24 秋学期]NNDL 作业6 卷积 [HBU]-CSDN博客。原创 2024-01-03 12:20:53 · 1368 阅读 · 3 评论 -
LSTM的记忆能力实验 [HBU]
在进行自定义LSTM和Pytorch内置LSTM的对比时,我按照教材上的代码去运行,发生了一连串的报错:其中的一个报错信息为:此警告的内容是关于在非2维张量上的使用。在PyTorch中,通常用于2维张量,用于转置矩阵。当在非2维张量上使用时,它可能不会按照预期工作。使用x.mT来转置批量的矩阵。使用来反转张量的维度。尝试修改代码,不反转张量的维度:这样修改的确将错误信息消除了。但是这也只能证明了在python语法上没有错误,而这个修改对于LSTM模型架构可能会有影响。原创 2023-12-26 19:59:29 · 1324 阅读 · 2 评论 -
NNDL 作业12-优化算法2D可视化 [HBU]
2.收敛速度快解决了AdaGrad算法的早停问题: 特别是在循环神经网络中,收敛速度较快,并且引入了衰减率,不会一直累积梯度平方,对于过去的梯度,会相应的衰减,解决了AdaGrad的早衰问题。但是由于该算法会逐渐遗忘过去的梯度,只被近期的梯度所影响,在最初的时候会收敛的更快,变化幅度大。由于y轴方向上的梯度较大,因此刚开始变动较大,但是后面会根据前面较大的变动进行调整,减小更新的步伐,导致y轴方向上的更新程度被减弱,“之”字形的变动程度衰减,呈现稳定的向最优点收敛。,同时对梯度和学习率进行动态调整。原创 2023-12-24 16:08:49 · 979 阅读 · 0 评论 -
NNDL 作业11 LSTM [HBU ]
这次的作业 我将主要精力都放在LSTM原理理解和公式推导部分了,选了几个B站的课程试听,最终听完了我认为讲的最详细、最适合小白听的课程,来回听了两遍。自己画了流程图,手推了前向传播过程和简单的反向传播公式。前向传播-->反向传播-->梯度爆炸梯度消失问题的来源-->缓解梯度消失的方法听的最酣畅淋漓的就是梯度爆炸梯度消失问题的来源与缓解方法。原来做作业的时候,要去分析为什么神经网络模型会出现梯度爆炸和梯度消失,得到的答案就是因为。原创 2023-12-18 11:45:50 · 330 阅读 · 0 评论 -
NNDL 循环神经网络-梯度爆炸实验 [HBU]
目录6.2.1 梯度打印函数6.2.2 复现梯度爆炸现象6.2.3 使用梯度截断解决梯度爆炸问题【思考题】梯度截断解决梯度爆炸问题的原理是什么? 总结前言:造成简单循环网络较难建模长程依赖问题的原因有两个:梯度爆炸和梯度消失。循环网络的梯度爆炸问题比较容易解决,一般通过权重衰减或梯度截断可以较好地来避免;梯度消失问题,更加有效的方式是改变模型,比如通过长短期记忆网络LSTM来进行缓解。本节将首先进行复现简单循环网络中的梯度爆炸问题,然后尝试使用梯度截断的方式进行解决。这里采用长度为20的数据集进行实验,训练原创 2023-12-16 22:09:33 · 183 阅读 · 0 评论 -
循环神经网络-RNN记忆能力实验 [HBU]
1.实验的初期,正在构建数据集--不同长度的数字预测数据集DigitSum,就遇到了错误:报错信息显示FileNotFoundError,文件路径错误。这里我们使用的是相对路径,而不是绝对路径,我只想着如何构建序列了,没有考虑到路径的问题。只要添加设置好路径,创建相应的文件,就可以正常运行了。python出现Errno 2] No such file or directory错误解决方法_[errno 2] no such file or directory_木心的博客-CSDN博客。原创 2023-12-12 23:01:02 · 246 阅读 · 0 评论 -
NNDL 作业10 BPTT [HBU]
习题6-1P 推导RNN反向传播算法BPTT.循环神经网络的参数通过梯度下降方法学习,以随机梯度下降为例,给定一个训练样本(x,y),其中:长度为T的输入序列为:长度为T的标签序列为:即在每个时刻t,都有一个监督信息,定义时刻t的损失函数为:(其中为第t时刻的输出,L为可微分的损失函数)即。随时间反向传播(BackPropagation Through Time,BPTT)算法的主要思想是通过类似前馈神经网络的错误反向传播算法来计算梯度。原创 2023-12-08 21:55:10 · 298 阅读 · 0 评论 -
NNDL卷积神经网络-使用预训练resnet18实现CIFAR-10分类 [HBU]
出现了2条报错(警告)信息:现在来解决警告信息:【PyTorch教程】04-详解torchvision 0.13中的预训练模型加载的更新及报错的解决方法 (2022年最新)_userwarning: arguments other than a weight enum or-CSDN博客针对第二条报错信息,解释意思为:收到的警告消息来自于PyTorch库,它告诉你关于ResNet18模型的一个即将废弃的参数使用方式。你正在使用一个即将被废弃的方式来指定模型权重,这种方式将在新版本的库中被移除。原创 2023-12-05 23:33:56 · 267 阅读 · 0 评论 -
NNDL 作业9 RNN-SRN简单循环神经网络 [HBU]
我更倾向于看官网的介绍,不仅可以锻炼英语能力,还能看到准确无误的一手信息nn.RNNCell官网图如下,首先介绍了RNNCell的各个parameters指非线性激活函数,device目前没有接触过,译为装置。原创 2023-12-03 17:19:59 · 184 阅读 · 0 评论 -
NNDL作业8 卷积-导数-反向传播[邱锡鹏DL课后题]
一旦真正的上手推,我就没有耐心了,很多很多符号和矩阵乘法叠在一起。填数的技巧(我个人使用的)是 首先在脑海里构思卷积核在input矩阵上卷积的过程,按照卷积的过程 如果w乘到了x,那么就在稀疏矩阵对应的x的拉伸过后的位置上填写上w,如果x未被w卷积到,就填0 .还有 这次的作业还有很多需要改进的地方,我都一一留下了标记,一定会改进的,老师说过作业一定要保证质量,我会铭记在心的((*^_^*))。一个1 × 1卷积核, 先得到100 × 100 × 64的特征映射, 再进行3 × 3的卷积, 得到。原创 2023-11-28 11:44:16 · 366 阅读 · 0 评论 -
基于残差网络实现手写体数字识别实验 [HBU]
通过ResNet团队的实验,ResNet随着网络层不断的加深,模型的准确率先是不断的提高,达到最大值(准确率饱和),然后随着网络深度的继续增加,模型准确率毫无征兆的出现大幅度的降低。更好的优化方法,更好的初始化策略,BN层,Relu等各种激活函数,都被用过了,但是仍然不够,改善问题的能力有限,直到残差连接被广泛使用。第一模块:包含了一个步长为2,大小为7×77×7的卷积层,卷积层的输出通道数为64,卷积层的输出经过批量归一化、ReLU激活函数的处理后,接了一个步长为2的3×33×3的最大汇聚层;原创 2023-11-25 18:07:30 · 131 阅读 · 0 评论 -
基于LeNet实现手写体数字识别实验 [HBU]
数据集手写体数字识别是计算机视觉中最常用的图像分类任务,让计算机识别出给定图片中的手写体数字(0-9共10个数字)。由于手写体风格差异很大,因此手写体数字识别是具有一定难度的任务。。MNIST数据集是计算机视觉领域的经典入门数据集,包含了60,000个训练样本和10,000个测试样本。这些数字已经过尺寸标准化并位于图像中心,图像是固定大小(28×2828×28像素)。原创 2023-11-19 13:27:41 · 236 阅读 · 1 评论 -
卷积神经网络-卷积运算、卷积算子 [HBU]
它用于检测图像中的边缘。在进行卷积运算时,将滤波器的元素与输入的对应元素相乘,然后再求和,这个结果保存到输出的对应位置。实现一个简单的二维卷积算子,二维卷积的运算方式为在一个图像(或特征图)上滑动一个卷积核,通过卷积操作得到一组新的特征。当我将输入特征图的长宽设置为7*7,可以看到当填充padding为1,步长stride为2时,输出特征图的形状变为2*4*4,长和宽为(7-3+2*1)/2+1 = 4。可以看到,当填充padding为1,步长为1时,输出特征图的形状为 2通道,长宽为8*8。原创 2023-11-14 19:48:42 · 209 阅读 · 1 评论 -
[23-24 ]NNDL作业7-基于CNN的XO识别
一、用自己的语言解释以下概念与全连接神经网络的不同之处是,卷积神经网络的后一层神经元只与前一层的部分神经元连接,只感知局部,而不是整幅图像。这种局部感知的方式使得网络能够专注于图像的局部特征,而不是全局特征。表面上看局部连接似乎损失了部分信息,但实际上后层神经元并没有损失信息。通过后面一层神经元感知局部信息不仅可以减少网络需要学习的大量参数,同时可以减少网络的冗余信息。原创 2023-11-14 11:30:13 · 240 阅读 · 1 评论 -
前馈神经网络-自动梯度计算&优化问题
深度学习 使用pytorch的预定义算子来重新实现二分类任务import os# 判断是二分类任务还是多分类任务,preds.shape[1]=1时为二分类任务,preds.shape[1]>1时为多分类任务else:# 绘制坐标轴和图例# 绘制坐标轴和图例plt.show()#make_moons函数axis=1X = X[idx]y = y[idx]# 使用'torch.nn.functional.sigmoid'定义 Logistic 激活函数# 前向计算。原创 2023-11-05 14:32:14 · 7794 阅读 · 0 评论 -
[23-24 秋学期]NNDL 作业6 卷积 [HBU]
卷积神经网络入门原创 2023-11-03 23:45:58 · 401 阅读 · 0 评论 -
鸢尾花分类-输出层数据无需激活?-torch.nn.functional
接上一篇 鸢尾花神经网络分类 的一个问题总结原创 2023-11-02 11:06:45 · 84 阅读 · 1 评论 -
NNDL鸢尾花分类-基于前馈神经网络[HBU]
本博客内容用来学习深度学习,原创 2023-10-30 15:21:25 · 218 阅读 · 1 评论 -
[23-24秋学期]NNDL作业5 第四章课后习题 HBU
学习率。原创 2023-10-26 21:06:40 · 466 阅读 · 0 评论 -
Moon数据集 前馈神经网络.二分类任务 [HBU]
下面我们实现一个两层的用于二分类任务的前馈神经网络,选用Logistic作为激活函数,可以利用上面实现的线性层和激活函数算子来组装。可见,随着训练epoch数量的增加和训练次数的增多,Train loss训练误差和验证集误差都在减小,初期下降的速度快,到了后期(约400次之后)损失值逐渐平稳。与第3章中实现的梯度下降优化器SimpleBatchGD不同的是,此处的优化器需要遍历每层,对每层的参数分别做更新。对比“基于Logistic回归的二分类任务”与“基于前馈神经网络的二分类任务”,谈谈自己的看法。原创 2023-10-24 19:39:15 · 339 阅读 · 0 评论 -
[23-24 秋学期] NNDL 作业4 前馈神经网络 HBU
损失函数部分修改为:loss_func = torch.nn.CrossEntropyLoss() #使用函数创建交叉熵损失函数#dim维度设置为1 torch.stack()将张量在特定维度上堆叠loss = loss_func(y_pred, y) # 计算print("损失函数(交叉熵损失):", loss.item())运行结果:第1轮:第10轮:第100轮:第1000轮:当我训练至1000次时,竟然又出现了NaN的情况。原创 2023-10-17 16:44:55 · 211 阅读 · 0 评论 -
NNDL作业-Softmax回归风险函数与正则化 HBU
softmax回归-风险函数-正则化项; 河北大学-深度学习-课后作业原创 2023-10-12 11:25:09 · 151 阅读 · 0 评论 -
[23-24 秋学期] NNDL-作业2 HBU
混淆矩阵,评价指标计算,损失函数,交叉熵损失函数--河北大学 深度学习作业NNDL2。原创 2023-10-11 20:22:17 · 246 阅读 · 0 评论 -
人工智能-机器学习-深度学习 概念整理
人工智能(Artificial Intelligence),简称AI。它是研究、开发用于模拟、延申和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,主要包括计算机实现智能的原理、制造类似于人脑智能的计算机,使计算机能实现更高层次的应用。人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。人工智能是智能学科的重要组成部分,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。原创 2023-09-20 21:56:33 · 529 阅读 · 5 评论 -
深度学习-张量Tensor (pytorch实现) HBU作业
pytorch框架-总结张量Tensor的常见用法 [河北大学 作业]原创 2023-09-23 11:08:01 · 301 阅读 · 2 评论