- 博客(28)
- 收藏
- 关注
原创 机器学习——随机森林
简单介绍就是例如特征A,首先使用原始数据进行计算得到其原始预测值,之后可以进行修改该特征的数据计算噪音预测值,当噪音预测值的结果比原始预测值的结果要差得多的话说明这个特征比较重要,如果噪音预测值的结果跟原始预测值的结果差距不大甚至可能好那么一点点,说明这个特征就不怎么重要了。也就是先建立一棵树,在进行预测任务的时候,真实值是100,第一棵树预测为90,再加一棵树使得预测结果为95,继续加树使得结果为97,再继续加树使得预测值越来越靠近真实值,加树是为了提升其性能。随机森林中的树的数量。
2024-08-13 15:29:28
716
原创 python基础:字典(Dictionary) .keys()
Python 字典(Dictionary) .keys() 函数以列表返回一个字典所有的键,以下统计列表中的所有元素及其个数,以字典的形式返回。统计到最后的结果是该列表中no的元素个数共5个,yes的元素个数共9个。
2024-08-10 16:29:02
136
原创 Python基础:contiguous
在pytorch中,tensor的实际数据以一维数组(storage)的形式存储于某个连续的内存中,以”行优先"进行存储,tensor连续(contiquous)是指tensor的storage元素排列顺序与其按行优先时的元素排列顺序相同,tensor不连续会导致某些操作无法进行,比如view()就无法进行。b应该是1 4 7 2 5 8 3 6 9才是连续的,虽然它经过a的转置,但是并没有改变其原先的存储顺序,所以出现的结果就是不连续的。可以发现c已经和b的存储顺序不一样了,是连续的了。
2024-07-16 18:10:20
413
原创 Python基础:register buffer
在模型中,利用backward反向传播,可以通讨requires_grad来得到 buffer 和 parameter 的梯度信息,但是利用 optimizer 进行更新的是 parameter , buffer 不会更新,这也是两者最重要的区别。这两种参数都存在于 model.state_dict()的OrderedDict中,也会随着模型”移动”(model.cuda())。模型保存下来的参数有两种:需要更新的 Parameter ,与是不需要更新的 buffer。
2024-07-16 17:51:48
360
原创 Transformer模型:Decoder的self-attention mask实现
这是对Transformer模型Word Embedding、Postion Embedding、Encoder self-attention mask、intra-attention mask内容的续篇。
2024-07-14 15:46:59
803
原创 Transformer模型:intra-attention mask实现
前言这是对Transformer模型的Word Embedding、Postion Embedding、Encoder self-attention mask内容的续篇。
2024-07-14 14:55:53
993
原创 Transformer模型:Encoder的self-attention mask实现
这是对Transformer模型的Word Embedding、Postion Embedding内容的续篇。
2024-07-13 22:57:00
1011
原创 Transformer模型:Postion Embedding实现
这是对上一篇WordEmbedding的续篇PositionEmbedding。
2024-07-13 17:04:24
1222
原创 Transformer模型:WordEmbedding实现
接下来就是构造embedding了,这里nn.Embedding()传入了两个参数,第一个是embedding的长度,也就是单词个数+1,+1的原因是因为有个0是作为填充的,第二个参数就是embedding的维度,也就是一个单词会被映射为多少维度的向量。这里把tgt的也补充了,得到的就是src和tgt的内容各自在一个二维张量里(batch_size,max_seg_len),batch_size也就是句子数,max_seg_len也就是句子的单词数(分为src的长度跟tgt两种)。
2024-07-12 17:38:57
1414
原创 特征工程预处理
之前在网上东看看西瞧瞧之后记的内容,有点杂乱也忘了是在哪些文章看到的了。1、缺失值处理——2004-2016年流感缺失值的处理一般分为填充/删除。该案例中,对于缺失值使用的是用fillna()函数进行填充,函数中的参数就是将缺失值的填充值,参数也可以是函数,例如使用同一列的均值等进行填充。并且该函数中使用到了删除函数drop(),删除制定的行/列。2、特征缩放——iris数据集。
2024-07-09 23:32:48
648
原创 python基础:numpy与tensor转换
numpy转化为tensor:torch.from_numpy()tensor转化为numpy:numpy()
2024-07-08 18:55:21
975
原创 GNN图神经网络和GCN图卷积神经网络
之前在B站看的视频,把笔记放在这里。点、边、图都可以做成向量;点、边、图都是特征。图1. 1图的基本组成图神经网络强调的是点与点之间的关系。利用图神经网络的目的:整合特征。重构点、边、图的特征,经过迭代更新,得到最好的特征。后续无非就是对点、边、图做分类和回归。图1. 2图神经网络的任务一张图中共5*5=25个点,邻接矩阵共25*25个点,每个点代表了横坐标与纵坐标对应的点的关系,例如图1.3所示,标蓝色表示是邻居关系。邻接矩阵表示了点之间的连接关系。图1. 3图像-图的邻接矩阵。
2024-07-08 13:12:39
1545
原创 python基础:zip()函数、set()函数和list()函数
给出例子:有以下两个列表,可以发现两个列表都是有重复值的,两个列表都是包含多个二元组的。例如doc_couples_all列表,其中的(1,'a')就是一个元组,doc_couples_all跟doc_couples_pred_all都是包含4个二元组的列表。当使用list()函数时,会将doc_couples_all、doc_couples_pred_all集合转换回列表。集合中的元素必须是可哈希的(即不可变的),并且集合本身是可变的,可以添加或删除元素。首先,介绍一下几个基本概念:元组、列表、集合。
2024-07-05 17:42:02
290
原创 Python基础:Matplotlib
显示结果:start:起点值;可忽略不写,默认从0开始stop:终点值;生成的元素不包括结束值step:步长;可忽略不写,默认步长为1dtype:默认为None,设置显示元素的数据类型。
2024-07-04 11:28:12
320
原创 Ubuntu安装远程连接工具finalshell
由于复现项目的时候,电脑本机没有可用的CUDA,没办法用GPU跑,只能改用CPU,但是跑起来太慢了,12个小时头都没摸到,所以决定租用GPU服务器来跑一下,然后就遇到了一堆问题。
2024-07-04 00:51:27
568
原创 python基础:.data.cpu().numpy()
将张量从 GPU 设备移动到 CPU。对于在 GPU 上运行的模型,张量默认存储在 GPU 上,为了使用 NumPy,我们需要将其转移到 CPU。对于一些项目,运行的时候通常是使用GPU运行的,但是Numpy不支持直接处理 GPU 上的数据,所以需要将数据移动到cpu里。属性是 PyTorch 张量的底层数据。方法仅适用于存储在 CPU 上的张量。: 将张量转换为 NumPy 数组。转换为 NumPy 数组。
2024-07-03 17:56:03
185
原创 python基础:decimal.quantize()
是一个字符串,表示浮点数需要保留的小数位数,默认值为。这个函数的主要作用是将一个浮点数。,并返回精确后的浮点数。转换为具有指定小数位数的。,因为默认是保留四位小数。精确到指定的小数位数。
2024-07-02 20:09:10
281
原创 python基础:pkl格式文件
pkl格式文件,全程Python中一种用于序列化对象的文件格式。以字典(dict)、数据框(DataFrame)或任何其他数据类型的形式作为数据集使用的时候,可能希望将它们保存到文件中,以便以后可以使用它们或将它们发送给其他人。这就是Python的pickle模块的用途:它将对象序列化,以便将它们保存到文件中,并在以后再次加载到程序中。Pickling允许将python对象保存为硬盘驱动器上的二进制文件。
2024-07-02 17:26:36
878
原创 python基础:json格式文件
处理json文件需要先导入json库,然后自定义字典数据内容。要想,需要先定义save_json函数将以上的data数据转化为json文件,之后调用save_json函数,传入参数data=data与file_path=data.json,也就是转化后的文件将以“data.json”命名,成功运行则输出一个句子表示文件成功转化并保存。
2024-07-01 18:37:35
762
原创 湖科大_深入浅出计算机网络自学笔记
前言24考研已上岸,学习计网的时候跟的是湖科大的视频学的,学习笔记也主要是跟着视频记的。感兴趣的小伙伴可以后台滴滴我。
2024-06-30 14:40:11
531
原创 pytorch目标检测:Fast R-CNN(理论)
学习资料来自b站,视频链接为:FastRCNN_哔哩哔哩_bilibili Fast R-CNN算法流程可分为3个步骤: - 一张图像生成1K~2K个候选区域(使用Selective Search方法); - 将图像输入网络得到相应的特征图,将SS算法生成的候选框投影到特征图上获得相应的特征矩阵; - 将每个特征矩阵通过ROI pooling层缩放到7x7大小的特征图,接着将特征图展平通过一系列全连接层得到预测结果。 特征矩阵通过 R
2024-06-29 20:02:38
193
原创 pytorch目标检测:Faster R-CNN(理论)
学习资料来自b站,视频链接为:FasterRCNN_哔哩哔哩_bilibili Faster R-CNN算法流程可分为3个步骤: - 将图像输入网络得到相应的特征图(feature maps); - 使用RPN结构生成候选框,将RPN生成的候选框投影到特征图上获得相应的特征矩阵(feature vector); - 将每个特征矩阵通过ROI pooling层缩放到7x7大小的特征图,接着将特征图展平通过一系列全连接层得到预测结果 ;
2024-06-29 19:43:39
1405
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人