深度学习
文章平均质量分 85
维斯德尔
这个作者很懒,什么都没留下…
展开
-
经典论文之(三)——Transformer
小白读论文原创 2024-01-07 13:14:34 · 986 阅读 · 1 评论 -
小白学习深度学习之——计算机硬件
不要频繁在CPU和GPU 之间传输数据:带宽限制,同步开销。·主内存->L3->L2->L1->寄存器。··时间:重用数据使得保持它们再缓存里。··空间:按序读写数据使得可以预读取。·CPU:C++或者任何高性能语言。在计算a+b之前,需要准备数据。··主内存访问延时:100ns。··L1访问延时:0.5ns。·提升空间和时间的内存本地性。··Nvidia上用CUDA。··缓存更小,架构更加简单。··L2访问延时:7ns。··质量取决于硬件厂商。··编译器和驱动成熟。·其他用OpenCL。原创 2024-02-24 09:37:02 · 205 阅读 · 0 评论 -
小白学习深度学习之(五)——经典的卷积神经网络
回想一下,卷积层的输入和输出由四维张量组成,张量的每个轴分别对应样本、通道、高度和宽度。如果我们将权重连接到每个空间位置,我们可以将其视为 1×1 卷积层(如 :numref:sec_channels中所述),或作为在每个像素位置上独立作用的全连接层。这是因为虽然LeNet在小数据集上取得了很好的效果,但是在更大、更真实的数据集上训练卷积神经网络的性能和可行性还有待研究。注意,本书在这里提供的是一个稍微精简版本的AlexNet,去除了当年需要两个小型GPU同时运算的设计特点。3、汇聚层,如最大汇聚层。原创 2024-01-22 15:25:29 · 775 阅读 · 0 评论 -
小白学习深度学习之(四)——卷积神经网络
本章介绍的卷积神经网络(convolutional neural network,CNN)是一类强大的、为处理图像数据而设计的神经网络。基于卷积神经网络架构的模型在计算机视觉领域中已经占主导地位,当今几乎所有的图像识别、目标检测或语义分割相关的学术竞赛和商业应用都以这种方法为基础。原创 2024-01-19 20:06:42 · 953 阅读 · 1 评论 -
小白学习深度学习之(三)——多层感知机
在学习完线性回归和softmax回归后,我们开始对深度神经网络的的探索,这次我们将要介绍的是多层感知机。原创 2024-01-03 13:59:42 · 854 阅读 · 0 评论 -
小白学习深度学习之(A)——常见的激活函数
激活函数是通过计算加权和并加上偏置来确定神经元是否应该被激活,它们将输入信号并转化为输出的可微运算。大多数激活函数都是非线性的。由于激活函数的深度学习的基础,下面。原创 2024-01-03 13:14:25 · 878 阅读 · 0 评论 -
小白学习深度学习之(二)——softmax回归
在我们的例子中,由于我们有4个特征和3个可能的输出类别, 我们将需要12个标量来表示权重(带下标的 𝑤 ), 3个标量来表示偏置(带下标的 𝑏 )。如果类别间有一些自然顺序, 比如说我们试图预测 {婴儿,儿童,青少年,青年人,中年人,老年人} , 那么将这个问题转变为回归问题,并且保留这种格式是有意义的。因此,为了实现我们的模型, 我们只需在Sequential中添加一个带有10个输出的全连接层。回归可以用于预测多少的问题,比如预测房屋被出售的价格,或者棒球队可能获胜的胜场数,又或者患者住院的天数。原创 2024-01-03 12:24:50 · 909 阅读 · 0 评论 -
小白学习深度学习之(一)——线性回归
回归问题是能为一个或多个自变量与因变量之间关系建模的一类方法。在自然科学与社会科学领域,回归经常用来表示输入和输出之间的关系在计算机视觉领域,大多数任务都和预测有关。当我们需要与预测一个数值时,就会涉及到回归问题。原创 2024-01-02 21:30:22 · 783 阅读 · 0 评论