- 博客(14)
- 收藏
- 关注
RSS订阅原创 pytorch学习笔记-transform
计算机视觉工具包,内涵:(提供常用的图像预处理方法);(提供常用数据集的dataset实现,MNIST,CIFAR-10,ImageNet等);(提供常用的模型预训练,AlexNet,VGG,ResNet,GoogLeNet等)
2023-12-04 18:11:45
70
1
原创 pytorch学习笔记-数据处理(DATASET和DATALOADER)
annotation文件中每一行是一个样本,标签只有两个值.CSV格式的expression文件是生物信息学研究中用于存储和分析基因表达数据的重要工具。:一张图片对应一个xml文件,xml是一种可扩展标记语言,里面记录了图片中的详细信息,其中最重要的是object标签记录的内容,记录了划分标签的重点,比如dog或者person. 数据集中分别游annotation文件夹和imageset文件夹。是 Python 标准库中的一个函数，用于返回指定目录中的文件和子目录的列表。
2023-12-01 18:03:32
125
1
原创 深度学习笔记-计算图，autograd，逻辑回归
计算图是深度学习和神经网络中的一个核心概念，它以图的形式表示数学运算和数据之间的关系。在计算图中，节点（vertices）通常表示数学运算，而边（edges）表示在运算之间流动的数据。
2023-11-22 09:59:52
44
原创 深度学习笔记10/31-白皮书答疑-语言大模型(2)
掩码操作是作用于注意力分数上的,在进行softmax操作之前,对注意力分数乘以一个相同大小的掩码矩阵(由0和1组成). 0代表可读取,1代表不可读取.在第一次进行掩码操作时,掩码矩阵的所有元素值均为0,从而可以在第一次自注意力操作时关注最先输入的原本的序列. 之后对每个位置i都进行相关性检测,从而找出最相关的位置j,然后认为i>j的位置均为上文,i<=j的位置均为下文.所以在i>j的位置将被0,开放读取,i<j的位置被置为1,暂时不准读取.
2023-10-31 12:24:31
31
1
原创 oracle学习10/30
美国甲骨文公司提供的为核心的软件产品,最流行的C/S或者B/S体系结构的数据库之一,能够承载很大的压力. 通常应用于大型系统的数据库产品. 应用广泛.(1)支持多用户/大事物量的事物处理(2)数据安全性和完整性(3)支持分布式数据处理(4)可移植性。
2023-10-30 19:25:00
20
原创 深度学习笔记10/30-人工智能白皮书的答疑-语言大模型(1)
通过预训练的嵌入矩阵来得到一个固定长度的向量(在预训练中就定好了语义信息对应的向量,比如"你"可能就对应着唯一的向量).:因为输入的序列仅包含语义,没有每个词的相对位置,所以需要将其位置信息也嵌入到向量中.那么如何将位置信息转化为编码形式呢?首先声明三个变量代表该语义的位置,代表嵌入向量的维度,代表这个向量中的第个元素.然后根据公式来进行编码最后与词嵌入得到的向量进行加和,得到完整的词序列编码.
2023-10-30 13:32:20
59
原创 深度学习笔记10/27——向量化
会发现数组经过转置之后仍然没有变化,而且没有报错. 这是因为在python中,一个一维数组被视为一个向量(在这里(5, )表示这个数组有5个元素,但是什么向量都不是),但是没有确定到底是一个行向量还是一个列向量,所以自然就不存在转置,但是没有报错提示就可能会导致一些隐藏的bug出现,作用:将做形式上不可运算的矩阵自动填充为可以运算的形式并计算,比如一个2*3的矩阵加上一个2*1的矩阵,在广播之后python会自动地将后者填充为2*3的矩阵(复制第一列到后两列).在反向传播中也如此,定义一个1*m的矩阵。
2023-10-27 16:00:55
71
1
原创 深度学习笔记10/26——M示例上的梯度下降
对于M个样本，求总体的代价函数的偏导数也就等于单个损失函数的偏导数的平均值。这样就得到了下降所用的梯度，然后有。这样就完成了一次梯度下降。
2023-10-26 20:59:39
21
原创 深度学习笔记10/23——梯度下降（Gradient Descent）与导数
梯度是损失函数的导数，它指向损失最大增加的方向。我们的目标是减少损失，所以我们需要相反的方向来调整权重。：重复上述过程（前向传播、计算误差、反向传播误差、权重更新）直到网络的预测误差达到可接受的范围或达到预定的迭代次数。假设代价函数J(W)的图像如图所示，通过以下的公式对每次迭代的W进行更新（上下公式相同）反向传播的目的是根据网络的输出误差来调整网络的权重，使网络的预测更接近实际的标签。：在输出层，你可以计算网络的预测和实际标签之间的误差。的参数，这是反向传播的主要功能。(损失函数中的y是指样本)。
2023-10-23 18:26:26
68
原创 深度学习笔记10/21——逻辑回归（logistic regression）
可用需要进行设定来对输出值进行检测，这里的分别指预测输出的和样例的。那么如何进行设定呢？现在假设有一组样例,通过函数可以计算出参数：样本权重和偏置量，从而用输入的来预测，得出。
2023-10-21 19:09:31
45
1
原创 深度学习笔记10/19——Introduction
ReLU——rectified linear unit 修正线性单元神经网络就是由这些单独完成将输入转化为输出的神经元组成的，下图是由不同的房价自变量预测房价的图示，神经网络的神奇之处在于只需要输入一个X（特征）就能让程序自发的完成中间步骤从而导出price每个内部的节点叫做隐藏节点，输入特征的层叫输入层监督学习（supervised learning）：使用标记数据集来训练算法，以便对数据进行分类或准确预测结果。CNN：卷积神经网络 通常用于图像领域，自动驾驶领域RNN。
2023-10-19 16:29:19
36
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人