Galaxy.404-CSDN博客

原创机器学习——随机森林

简单介绍就是例如特征A，首先使用原始数据进行计算得到其原始预测值，之后可以进行修改该特征的数据计算噪音预测值，当噪音预测值的结果比原始预测值的结果要差得多的话说明这个特征比较重要，如果噪音预测值的结果跟原始预测值的结果差距不大甚至可能好那么一点点，说明这个特征就不怎么重要了。也就是先建立一棵树，在进行预测任务的时候，真实值是100，第一棵树预测为90，再加一棵树使得预测结果为95，继续加树使得结果为97，再继续加树使得预测值越来越靠近真实值，加树是为了提升其性能。随机森林中的树的数量。

2024-08-13 15:29:28 716

原创 python基础：sort()函数

【代码】python基础：sort()函数。

2024-08-10 16:37:29 223

原创 python基础：字典(Dictionary) .keys()

Python 字典(Dictionary) .keys() 函数以列表返回一个字典所有的键，以下统计列表中的所有元素及其个数，以字典的形式返回。统计到最后的结果是该列表中no的元素个数共5个，yes的元素个数共9个。

2024-08-10 16:29:02 136

原创机器学习——决策树

从理论深入解释决策树模型，并基于sklearn与基于python分别实现该模型应用。

2024-08-10 00:35:27 1467

原创 Python基础：contiguous

在pytorch中，tensor的实际数据以一维数组(storage)的形式存储于某个连续的内存中，以”行优先"进行存储，tensor连续(contiquous)是指tensor的storage元素排列顺序与其按行优先时的元素排列顺序相同，tensor不连续会导致某些操作无法进行，比如view()就无法进行。b应该是1 4 7 2 5 8 3 6 9才是连续的，虽然它经过a的转置，但是并没有改变其原先的存储顺序，所以出现的结果就是不连续的。可以发现c已经和b的存储顺序不一样了，是连续的了。

2024-07-16 18:10:20 413

原创 Python基础：register buffer

在模型中，利用backward反向传播，可以通讨requires_grad来得到 buffer 和 parameter 的梯度信息，但是利用 optimizer 进行更新的是 parameter ， buffer 不会更新，这也是两者最重要的区别。这两种参数都存在于 model.state_dict()的OrderedDict中，也会随着模型”移动”(model.cuda())。模型保存下来的参数有两种：需要更新的 Parameter ，与是不需要更新的 buffer。

2024-07-16 17:51:48 360

原创 Transformer模型：scaled self-attention mask实现

至此，难点集合就学习完了。这里其实就是公式计算。

2024-07-14 16:06:45 212

原创 Transformer模型：Decoder的self-attention mask实现

这是对Transformer模型Word Embedding、Postion Embedding、Encoder self-attention mask、intra-attention mask内容的续篇。

2024-07-14 15:46:59 803

原创 Transformer模型：intra-attention mask实现

前言这是对Transformer模型的Word Embedding、Postion Embedding、Encoder self-attention mask内容的续篇。

2024-07-14 14:55:53 993

原创 Transformer模型：Encoder的self-attention mask实现

这是对Transformer模型的Word Embedding、Postion Embedding内容的续篇。

2024-07-13 22:57:00 1011

原创 Transformer模型：Postion Embedding实现

这是对上一篇WordEmbedding的续篇PositionEmbedding。

2024-07-13 17:04:24 1222

原创 Transformer模型：WordEmbedding实现

接下来就是构造embedding了，这里nn.Embedding()传入了两个参数，第一个是embedding的长度，也就是单词个数+1，+1的原因是因为有个0是作为填充的，第二个参数就是embedding的维度，也就是一个单词会被映射为多少维度的向量。这里把tgt的也补充了，得到的就是src和tgt的内容各自在一个二维张量里（batch_size，max_seg_len），batch_size也就是句子数，max_seg_len也就是句子的单词数（分为src的长度跟tgt两种）。

2024-07-12 17:38:57 1414

原创特征工程模型：N gram

【代码】特征工程模型：N gram。

2024-07-10 14:41:32 449

原创特征工程预处理

之前在网上东看看西瞧瞧之后记的内容，有点杂乱也忘了是在哪些文章看到的了。1、缺失值处理——2004-2016年流感缺失值的处理一般分为填充/删除。该案例中，对于缺失值使用的是用fillna()函数进行填充，函数中的参数就是将缺失值的填充值，参数也可以是函数，例如使用同一列的均值等进行填充。并且该函数中使用到了删除函数drop()，删除制定的行/列。2、特征缩放——iris数据集。

2024-07-09 23:32:48 648

原创 python基础：numpy与tensor转换

numpy转化为tensor：torch.from_numpy()tensor转化为numpy：numpy()

2024-07-08 18:55:21 975

原创 GNN图神经网络和GCN图卷积神经网络

之前在B站看的视频，把笔记放在这里。点、边、图都可以做成向量；点、边、图都是特征。图1. 1图的基本组成图神经网络强调的是点与点之间的关系。利用图神经网络的目的：整合特征。重构点、边、图的特征，经过迭代更新，得到最好的特征。后续无非就是对点、边、图做分类和回归。图1. 2图神经网络的任务一张图中共5*5=25个点，邻接矩阵共25*25个点，每个点代表了横坐标与纵坐标对应的点的关系，例如图1.3所示，标蓝色表示是邻居关系。邻接矩阵表示了点之间的连接关系。图1. 3图像-图的邻接矩阵。

2024-07-08 13:12:39 1545

原创 python基础：zip()函数、set()函数和list()函数

给出例子：有以下两个列表，可以发现两个列表都是有重复值的，两个列表都是包含多个二元组的。例如doc_couples_all列表，其中的(1,'a')就是一个元组，doc_couples_all跟doc_couples_pred_all都是包含4个二元组的列表。当使用list()函数时，会将doc_couples_all、doc_couples_pred_all集合转换回列表。集合中的元素必须是可哈希的（即不可变的），并且集合本身是可变的，可以添加或删除元素。首先，介绍一下几个基本概念：元组、列表、集合。

2024-07-05 17:42:02 290

weixin_62472350的博客

原创机器学习——随机森林

原创 python基础：sort()函数

原创 python基础：字典(Dictionary) .keys()

原创机器学习——决策树

原创 Python基础：contiguous

原创 Python基础：register buffer

原创 Transformer模型：scaled self-attention mask实现

原创 Transformer模型：Decoder的self-attention mask实现

原创 Transformer模型：intra-attention mask实现

原创 Transformer模型：Encoder的self-attention mask实现

原创 Transformer模型：Postion Embedding实现

原创 Transformer模型：WordEmbedding实现

原创特征工程模型：N gram

原创特征工程预处理

原创 python基础：numpy与tensor转换

原创 GNN图神经网络和GCN图卷积神经网络

原创 python基础：zip()函数、set()函数和list()函数

原创 Python基础：Matplotlib

原创 Ubuntu安装远程连接工具finalshell

原创 python基础：.data.cpu().numpy()

原创 python基础：decimal.quantize()

原创 python基础：getcwd()查看当前工作路径

原创 python基础：pkl格式文件

原创 python基础：json格式文件

原创 pytorch图像分类：卷积神经网络CNN

原创湖科大_深入浅出计算机网络自学笔记

原创 pytorch目标检测：Fast R-CNN（理论）

原创 pytorch目标检测：Faster R-CNN（理论）

Python基础：B站自学笔记

空空如也