深度学习笔记
文章平均质量分 85
深度学习知识点总结与实验内容
时生丶
不想当画家的程序员不是好厨师
展开
-
深度学习方法——对比Tensor与tensor创建张量
简单记录一下Tensor与tensor在创建张量时的差异。原创 2022-05-01 17:20:22 · 1086 阅读 · 3 评论 -
深度学习方法——pytorch下GPU与CPU调用的切换
在深度学习当中我们通常需要使用GPU来解决单一且庞大的运算,下面介绍几种在Pytorch框架下切换调用模式的方法。原创 2022-05-01 16:55:18 · 9943 阅读 · 0 评论 -
深度学习方法——NLLloss简单概括
简单概括一下NLLloss都干了些什么,侧重于概念的总结,不对参数做过多说明。原创 2022-04-21 10:35:18 · 12917 阅读 · 0 评论 -
深度学习方法——实验4:代码比较softmax与sigmoid
在计机上验证和测试两种激活函数对应的多层神经网络的原理和算法实现,测试多层神经网络的训练效果。原创 2022-04-05 14:32:27 · 2766 阅读 · 2 评论 -
动手学习深度学习——softmax函数与sigmoid函数区别
无论是在在机器学习还是深度学习中,softmax函数和sigmoid函数一定是我们经常遇到的两个激活函数。在深度学习中,他们通常出现在神经网络每一个隐藏层的后方,对数据实现规范化处理,二者既然有相似的功能,同样也会有所区别,本篇文章带你初步认识二者在神经网络应用中存在的差异。原创 2022-04-05 14:01:47 · 5091 阅读 · 0 评论 -
动手学深度学习——softmax回归之OneHot、softmax与交叉熵
回归可以用于预测多少的问题,比如预测房屋被售出价格,或者棒球队可能获得的胜场数,又或者患者住院的天数。事实上,我们也对分类问题感兴趣,不是问“多少”,而是问“哪一个”。逻辑回归就是用于解决分类问题的回归模型,他也可以视作一个单层的全连接神经网络。本篇文章包含了softmax逻辑回归的原理,并对sigmoid激活函数与softmax激活函数的应用场景做了简单对比。原创 2022-03-27 14:11:46 · 2862 阅读 · 0 评论 -
动手学深度学习——线性回归之利用PyTorch框架简洁实现
在过去的几年里,出于对深度学习强烈的兴趣,许多公司、学者和业余爱好者开发了各种成熟的开源框架。这些框架可以自动化基于梯度的学习算法中重复性的工作。在之前的从零开始实现线性回归中,我们只运用了:(1)通过张量来进行数据存储和线性代数;(2)通过自动微分来计算梯度。实际上,由于数据迭代器、损失函数、优化器和神经网络层很常用,现代深度学习库也为我们实现了这些组件。在本节中,我们将介绍如何通过使用深度学习框架来简洁地实现线性回归模型。转载 2022-03-12 00:39:06 · 607 阅读 · 0 评论 -
动手学深度学习——线性回归之从零开始代码实现
在了解线性回归的关键思想之后,我们可以开始通过代码来动手实现线性回归了。在这一节中,我们将从零开始实现整个方法,包括数据流水线、模型、损失函数和小批量随机梯度下降优化器。虽然现代的深度学习框架几乎可以自动化地进行所有这些工作,但从零开始实现可以确保你真正知道自己在做什么。同时,了解更细致的工作原理将方便我们自定义模型、自定义层或自定义损失函数。在这一节中,我们将只使用张量和自动求导。在之后的章节中,我们会充分利用深度学习框架的优势,介绍更简洁的实现方式。转载 2022-03-12 00:24:33 · 799 阅读 · 0 评论 -
动手学深度学习——线性回归之线性模型与梯度下降法
回归(regression)是能为一个或多个自变量与因变量之间关系建模的一类方法。 在自然科学和社会科学领域,回归经常用来表示输入和输出之间的关系。在机器学习领域中的大多数任务通常都与预测(prediction)有关。 当我们想预测一个数值时,就会涉及到回归问题。 常见的例子包括:预测价格(房屋、股票等)、预测住院时间(针对住院病人等)、 预测需求(零售销量等)。 但不是所有的预测都是回归问题。 在后面的章节中,我们将介绍分类问题。分类问题的目标是预测数据属于一组类别中的哪一个。...原创 2022-03-11 23:21:20 · 1640 阅读 · 0 评论 -
动手学深度学习——矩阵求导之自动求导
深度学习框架通过自动计算导数,即自动微分(automatic differentiation)来加快求导。 实际中,根据我们设计的模型,系统会构建一个计算图(computational graph), 来跟踪计算是哪些数据通过哪些操作组合起来产生输出。 自动微分使系统能够随后反向传播梯度。 这里,反向传播(backpropagate)意味着跟踪整个计算图,填充关于每个参数的偏导数。原创 2022-03-11 11:48:37 · 4072 阅读 · 6 评论 -
动手学深度学习——矩阵求导之矩阵的迹和微分
文章主要介绍了矩阵迹的性质,并将矩阵微分引入到矩阵求导中。虽然在法则和公式中涉及到了矩阵变元的实矩阵函数,但是并不介绍如何求导实矩阵函数,只介绍矩阵变元的实值标量函数利用微分求导的过程(实矩阵函数的求导过程远比实值标量函数的求导过程复杂)。...原创 2022-03-21 16:15:19 · 6013 阅读 · 0 评论 -
动手学深度学习——矩阵求导之布局分析
要想入门矩阵求导,首先要了解矩阵的函数表现形式以及分子布局、分母布局的概念,并且能够对式子快速的进行布局判断...原创 2022-03-05 01:04:55 · 1347 阅读 · 0 评论 -
动手学深度学习——数据操作之ndarray与tensor间的转换
无论使用哪个深度学习框架,它的张量类(在MXNet中为ndarray, 在PyTorch和TensorFlow中为tensor)都与Numpy的ndarray类似。 但深度学习框架又比Numpy的ndarray多一些重要功能:首先,GPU很好地支持加速计算,而NumPy仅支持CPU计算;其次,这些模块下的张量类支持自动微分;这些功能使得张量类更适合深度学习。如何实现转换将深度学习框架定义的张量转换为NumPy张量(ndarray)很容易,反之也同样容易。转换期间torch的张量原创 2022-03-01 15:54:20 · 17459 阅读 · 0 评论 -
动手学深度学习——数据操作之内存节省
运行一些操作可能会导致为新结果分配内存。 例如,如果用Y = X + Y,系统将取消引用Y原本指向的张量,而是将Y指向新分配的内存处的张量。这是因为Python首先计算Y + X,为结果分配新的内存,然后使Y指向内存中的这个新位置。但很多时候这并不是我们期望的...原创 2022-03-01 15:13:25 · 393 阅读 · 2 评论 -
动手学深度学习——数据操作之广播机制
在某些情况下,即使两个数组的形状不同,我们仍然可以通过调用 广播机制:broadcasting mechanism 来执行按元素操作。 这种机制的工作方式如下:首先,通过适当复制元素来扩展一个或两个数组, 以便在转换之后,两个数组具有相同的形状。 其次,对生成的数组执行按元素操作。原创 2022-03-01 14:47:48 · 2189 阅读 · 1 评论 -
深度学习方法——实验3:手动实现多层神经网络
在计算机上验证和测试多层神经网络的原理和算法实现,测试多层神经网络的训练效果,同时查阅相关资料。掌握多层神经网络的基本原理、掌握多层神经网络的算法过程、反向传播的算法过程;三、实验内容题1:请阅读和测试多层神经网络类代码,观察多层神经网络训练过程和结果,请对隐藏层Dense类和多层神经网络MLPClassifier类的代码进行注释。1.1 导入所需的函数库from sklearn import datasetsimport numpy原创 2022-03-22 16:45:02 · 3982 阅读 · 1 评论 -
深度学习方法——实验1:深度学习基础实验
在计算机上验证和测试多层神经网络针对不同数据集的训练效果,同时查阅相关资料原创 2022-02-26 22:21:10 · 2760 阅读 · 0 评论