- 博客(16)
- 收藏
- 关注
原创 学习率的动态更新
其中,initial_learning_rate是初始学习率,decay_rate是衰减率,current_epoch是当前训练轮数,decay_steps是衰减步数。其中,patience是连续多少个epoch没有改善时触发学习率调整,factor是学习率缩放因子。其中,T_max是学习率变化的周期,max_learning_rate是最大学习率。这些算法通常由深度学习框架提供,可以直接调用相应的接口来实现学习率的动态调整。其中,step_size是调整学习率的步长,gamma是学习率衰减因子。
2024-02-04 17:02:29
444
1
原创 卷积神经网络算法笔记(2.AlexNet)
相比于LeNet,AlexNet的层次更深,是最经典的深度卷积网络。它最开始用于ImageNet图像分类任务,在2012年取得最优战绩。从此以后,深度网络在CV领域开始盛行。AlexNet通过引入深度、卷积层和池化层的交替、局部响应归一化、Dropout正则化等技术,提出了一种强大且有效的卷积神经网络结构。一样,也是使用MNIST-Fashion数据集。下面提供网络定义部分的代码实现。,在测试集上的最优准确率为。
2024-02-04 16:54:58
395
1
原创 数据预处理
数据转换:数据转换包括对数据进行平滑、聚合、标准化和归一化等操作,以便更好地适应模型的要求。平滑可以通过滤波或函数拟合来实现,聚合可以将数据按照一定的规则进行合并,标准化可以将数据按照均值和标准差进行缩放,归一化可以将数据缩放到固定的范围内。它是数据分析的关键步骤之一,可以提高数据质量、减少错误,以及为后续的模型训练和分析提供更准确、可靠的数据。在数据预处理中,可以将类别型数据进行编码,例如使用独热编码、标签编码或频率编码等方法,将其转换为数值型数据。
2024-01-29 21:04:15
433
原创 K-Fold交叉验证
K-fold交叉验证是一种常用的机器学习模型评估方法,旨在评估和选择在给定数据集上训练的模型的性能。它通过将数据集划分为K个大小相等的折(或称为“分区”),并在每个折上进行训练和验证来完成这一过程。
2024-01-29 18:37:29
1108
原创 卷积神经网络算法笔记(1.LeNet-5)
MNIST-Fashion数据集:包含了10个不同种类的时尚商品的灰度图像。每个图像的尺寸为28×2828×28像素。这10个类别为:T恤/上衣(T-shirt/top)、裤子(Trouser)、毛衣(Pullover)、连衣裙(Dress)、外套(Coat)、凉鞋(Sandal)、衬衫(Shirt)、运动鞋(Sneaker)、包(Bag)和踝靴(Ankle boot)。经典的卷积神经网络(CNN),由Yann LeCun等人于1998年提出。
2024-01-28 21:18:05
1014
1
原创 多层感知机(MLP)算法笔记
HousePrice数据集以csv文件的形式,包括MSSubClass、MSZoning等近80个属性和SalePrice这1个标签值。训练数据集和测试数据集均有1400余条。也就是说,我们需要通过建立模型,学习SalePrice和这些属性之间的关系,然后预测测试集的SalePrice标签输出。网络定义:MLP(多层感知机)模型,使用显式参数初始化# v1.0-MLP模型nn.ReLU(),# 模型参数初始化损失函数:训练过程使用,进一步输出使用log_rmse()
2024-01-28 17:23:54
1320
1
原创 Softmax算法笔记
根据前面的定义,定义softmax函数。输入一个矩阵X,对其按行作Softmax操作。SoftmaxXijexpXij∑kXikSoftmaxXij∑kXikexpXij# 进行测试X_Prob, X_Prob.sum(1) # 按行求和。
2024-01-15 16:01:02
923
原创 交叉熵函数
假设我们有一个包含3个类别的分类任务,我们的神经网络输出了一个包含3个元素的向量,分别代表每个类别的预测概率。我们的训练数据包含了真实的标签,用独热编码表示。例如,如果一个样本的真实标签是第2类,那么对应的独热编码为。通过最小化这个损失值,我们可以使用反向传播算法来更新神经网络的参数,使得模型的预测结果更接近真实的标签,从而提高分类准确性。神经网络的输出经过softmax激活函数之后,得到了预测的概率分布。其中,y_i 是真实标签的独热编码,p_i 是模型的预测概率。
2023-12-31 23:36:17
364
原创 线性回归算法笔记(2)
定义模型是可以作为一个容器,封装若干个模型,比如等。训练时让数据依次通过这些模型。即定义了一个拥有2个特征和1个标签的线性回归网络,也就是全连接层。# 初始化模型参数此处为重点使用方法。model[0]访问到了第一层网络即定义的Linear层;是该层网络的所有权重形成的tensor。例如,对于而言,它初始weight就是;.data表示访问权重张量的底层数据(tensor)。例如,对于而言,它初始weight.data就是;.fill_(0)
2023-12-30 20:47:52
965
1
原创 线性回归算法笔记(1)
包括模型参数初始化、定义模型等步骤模型参数初始化:由于本实验的模型仅有两个参数wbw,bwb,因此通过高斯随机分布给出初始值。模型定义:所谓的模型model,其实就是一个函数,输入特征矩阵XXX、参数wbw, bwb,输出回归值yyy,这个过程和BP算法的前向传播过程基本一致。loss12y∗−y2loss21y∗−y2优化算法:使用SGD函数,小批量梯度下降算法。# 初始化模型参数w, b。
2023-12-28 23:49:16
984
1
原创 TJUOJ-1003
(全部由数字组成),交换其中的任意两位数,得到一个新串。,收到指令的节点需要将自己和它全部子节点的值全部改为。请你求出满足上述要求的添加方案总数。,每个testcase分两行,第一行为数组长度。,求出数组里全部元素两两组合的亦或之和,即。即按位异或,在C/C++的规范里,用。个字母的全部字串中的最小长度,即。对于每个testcase,输出。,初始化全部节点(已经编号,即。,之后每一行代表一个测试用例。对于每个测试用例,输出答案。,以后每一行为一个字符串。,以后每一行为一个字符串。对于每个测试用例,输出。
2023-09-20 16:49:54
104
1
原创 NOIP2017--互质数问题
在不找零的情况下,仅凭这两种金币,有些物品他是无法准确支付的。小凯手中有面值为3和7的金币无数个,在不找零的前提下无法准确支付价值为 1、2、4、5、8、11的物品,其中最贵的物品价值为11。输出文件仅一行,一个正整数 N,表示不找零的情况下,小凯用手中的金币不能准确支付的最贵的物品的价值。所以现在我们只需要找到每列最小的3的倍数,然后比较它们的大小后,选择最大的那个减1即是答案。输入数据仅一行,包含两个正整数a和 b,它们之间用一个空格隔开,表示小凯手中金币的面值。所以,第7个3的倍数的上一行就是答案。
2023-09-08 00:43:42
202
原创 并行计算性能指标评估方法
卷积是一种积分变换的数学方法,广泛应用于通信、物理、图像处理等领域。图像处理中,卷积操作就是卷积核(过滤器 /Filter)在原始图像中进行滑动得到特征图的过程,如图所示。那么问题来了,我们求出的加速比曲线只含有4个点,也就是1,2,4,8,如何求出。这样的好处是能够较为准确的求出最后一个点之后的函数值。做出比较,分析它们的偏差程度,即可估计出算法的可扩展性。接下来,你就可以比较两条曲线的偏差率。,估计出均方误差最小的函数曲线。的情况,不仅可以较为精确的估计出。因此,我们将得到的加速比曲线。
2023-05-03 00:27:34
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人