- 博客(55)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 GTN-Graph Transformer Networks
如图2所示，A(l)有C个通道，可记为C个meta-path图。因此，新生成meta-path图对应的邻接矩阵就是A(1)=Q1*Q2。它基于若干候选邻接矩阵生成新的图结构(识别有效meta-path)，进而执行卷积操作产出节点的embedding。上述过程可参考图2中A(l)的生成过程进行理解（注意：图2中1*1卷积为C通道，因此Q为C通道，A(l)也为C通道）。但上述meta-path生成方式不能包含原始图中的边信息，也会丢失短meta-path信息。由于图结构是学到的，因此可应用多种卷积操作。
2024-09-12 16:59:41
960
原创 异构图：HAN!!!!
这篇文章的算法将attention机制应用到异构图领域中，因为异构图存在节点的多样性和边的多样性，因此作者将attention机制分成了节点级别的attention和语义级别的attention，整体思路非常清晰。按照作者的思路进一步深入，当学习一个节点的特征时，不同的特征应该扮演着不同的作用，也许给特征层再加一层attention，或者根据图的结构的不同（出入度，邻居类别数等等）赋予不同的权值，也许会有更好的效果。
2024-09-12 10:09:10
765
原创 图分类！！！
1阶相似度用于描述图中成对顶点之间的局部相似度，形式化描述为若 u , v 之间存在直连边，则边权 wuv 即为两个顶点的相似度，若不存在直连边，则1阶相似度为0。如上图，6和7之间存在直连边，且边权较大，则认为两者相似且1阶相似度较高，而5和6之间不存在直连边，则两者间1阶相似度为0。1st order 相似度只能用于无向图当中。DTW最初用于识别语音的相似性。我们用数字表示音调高低，例如某个单词发音的音调为1-3-2-4。现在有两个人说这个单词，一个人在前半部分拖长，其发音为1-1-3-3-2-4；
2024-09-11 10:27:35
1460
原创 BERT 论文逐段精读【论文精读】
嵌入层就是一个矩阵，嵌入层的输入是字典的大小（这里是30K），输出是隐层单元的大小，隐层单元是Transformer的输入。用一句话来概括Bert，就是Bert是一个深的双向的Transformer，针对的是一般的语言理解任务。第二点的随机替换，因为需要在最后一层随机替换的这个 token 位去预测它真实的词，而模型并不知道这个 token 位是被随机替换的，就迫使模型尽量在每一个词上都学习到一个 全局语境下的表征，因而也能够让 BERT 获得更好的语境相关的词向量（这正是解决一词多义的最重要特性）；
2024-09-08 20:44:54
1365
原创 GAN 干！！！！
自监督学习(Self-supervised learning) 旨在对于无标签数据 ，通过设计 辅助任务（Proxy tasks） 来挖掘数据自身的表征特性作为监督信息，来提升模型的特征提取能力（PS：这里获取的监督信息不是指自监督学习所面对的原始任务标签，而是构造的辅助任务标签）。D 的训练过程：从真实数据分布和噪音变量的先验分布中采样数据，用 value function 训练一个二分类的分类器，但分类器输出的概率一直是 1 / 2 --> D 什么都分不出来 --> 分布是重合的。
2024-09-07 16:10:07
1298
原创 gcn（从空间域理解）
图网络的核心思想就是依据图结构的空间依赖关系来表征现实世界中真实的特征之间的相互作用关系，通过对节点特征进行聚合生成新的节点特征表示用于后续工作。这句话非常重要，是整个图神经网络的构建的基本原则！！！举个例子，下图为一张交通系统的图结构，在6个位置上分别有一个传感器记录了一段时间的交通流量数据，现在的目标是要预测接下来每个位置上未来一段时间的流量。该怎么去思考？
2024-09-06 22:31:14
1097
原创 零基础多图详解图神经网络（GNN/GCN）【论文精读】
我们将用到的技术是之前提到过的信息传递。：使用 MLP 更新属性值时，没有看到 V 顶点 E 边 的交互信息，只是 V 进 MLP_V, E 进 MLP_E, U 进 MLP_U，忽略了点边之间的连接信息。最后一层的顶点，即使只看每一层的一阶邻居，根据消息传递，最后一层的顶点能看到一个很大的图，甚至是全图的信息（如果图的connectivity可以的话）一条边，连接两个顶点，2个顶点向量相加 （+ 全局向量）== 得到 边的向量，然后进入边共享的一个 MLP 预测分类网络，得到边的预测输出。
2024-09-06 09:43:02
835
原创 时间序列数据集-Human Activity Recognition database (HAR)
②白噪声检验 1）是→停止分析（白噪声序列没有分析的价值） 2）否→计算ACF、PACF ③模型识别的工作——采用啥ARMA模型 1）可以通过软件识别出最优的识别模型 2）根据最小信息准则找到适合的模型 ④参数估计——确定使用相关模型后，采用AR几？获得的数据集被随机分成两组，其中 70% 的志愿者（也就是21名志愿者）被选择用于生成训练数据，剩下30% 的志愿者（也就是9名志愿者）被选择用于生成测试数据。进行预处理，然后每个样本以2.56秒这一固定的时间窗口选取数据，也就是128个采样点的数据。
2024-09-05 18:25:54
944
原创 ResNet
SGD收敛是没有意义的，SGD的收敛就是训练不动了，收敛是最好收敛在比较好的地方。做深的时候，用简单的机器训练根本就跑不动，根本就不会得到比较好的结果，所以只看收敛的话意义不大，但是在加了残差连接的情况下，因为梯度比较大，所以就没那么容易收敛，所以导致一直能够往前（SGD的精髓就是能够一直能跑的动，如果哪一天跑不动了，梯度没了就完了，就会卡在一个地方出不去了，所以它的精髓就在于需要梯度够大，要一直能够跑，因为有噪音的存在，所以慢慢的他总是会收敛的，所以只要保证梯度一直够大，其实到最后的结果就会比较好）
2024-09-05 18:23:55
735
原创 Time-Series Representation Learning via Temporal and Contextual Contrasting
挑战性任务： 文章首先指出，从无标签时间序列数据学习良好的表示是一个非常具有挑战性的任务。这是因为无标签数据通常缺乏监督信号，使得学习有意义的时间序列表示变得更加困难。TS-TCC框架概述： 作者提出了一个名为TS-TCC的无监督时间序列表示学习框架。该框架通过"Temporal and Contextual Contrasting"来学习时间序列的表示。该方法主要分为三个步骤。数据变换： 原始时间序列数据首先通过使用弱和强数据增强方法被转换为两个不同但相关的视图。
2024-09-05 11:47:19
816
原创 human action recognition
机器学习方法在很大程度上依赖于启发式手动特征提取人类活动识别任务，而我们这里需要做的是端到端的学习，简化了启发式手动提取特征的操作。我将要使用的模型是一个深神经网络，该网络是LSTM和CNN的组合形成的，并且具有提取活动特征和仅使用模型参数进行分类的能力。这里我们使用WISDM数据集，总计1.098.209样本。通过我们的训练，模型的F1得分为0.96，在测试集上，F1得分为0.89。
2024-09-05 11:27:49
978
原创 第四次组会
混淆矩阵是一种用于可视化分类模型性能的表格，其中每一行代表实际的类别，每一列代表预测的类别。通过混淆矩阵，我们可以直观地看到模型对各类别的预测效果，包括、、假阳性和假阴性等指标。
2024-09-02 13:16:58
941
原创 svm总结
SVM的英文全称是Support Vector Machines，我们叫它支持向量机。支持向量机是我们用于分类的一种算法。让我们以一个小故事的形式，开启我们的SVM之旅吧。在很久以前的情人节，一位大侠要去救他的爱人，但天空中的魔鬼和他玩了一个游戏。魔鬼在桌子上似乎有规律放了两种颜色的球，说："你用一根棍分开它们？要求：尽量在放更多球之后，仍然适用。于是大侠这样放，干的不错？然后魔鬼，又在桌上放了更多的球，似乎有一个球站错了阵营。显然，大侠需要对棍做出调整。
2024-08-02 20:12:04
755
原创 树回归之CART算法与树剪枝
本篇文章将会讲解CART算法的实现和树的剪枝方法，通过测试不同的数据集，学习CART算法和树剪枝技术。CART算法可以用于构建二元树并处理离散型或连续型数据的切分。若使用不同的误差准则，就可以通过CART算法构建模型树和回归树。一颗过拟合的树常常十分复杂，剪枝技术的出现就是为了解决这个问题。两种剪枝方法分别是预剪枝和后剪枝，预剪枝更有效但需要用户定义一些参数。
2024-08-02 20:10:59
605
原创 决策树总结
易于理解和解释。决策树可以可视化。几乎不需要数据预处理。其他方法经常需要数据标准化，创建虚拟变量和删除缺失值。决策树还不支持缺失值。使用树的花费（例如预测数据）是训练数据点(data points)数量的对数。可以同时处理数值变量和分类变量。其他方法大都适用于分析一种变量的集合。可以处理多值输出变量问题。使用白盒模型。如果一个情况被观察到，使用逻辑判断容易表示这种规则。相反，如果是黑盒模型（例如人工神经网络），结果会非常难解释。即使对真实模型来说，假设无效的情况下，也可以较好的适用。
2024-08-02 20:01:33
1319
原创 提升分类器性能利器-AdaBoost
这两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果，将不同的分类算法套入到此类算法框架中一定程度上会提高了原单一分类器的分类效果，但是也增大了计算量。下面是将决策树与这些算法框架进行结合所得到的新的算法：Bagging + 决策树 = 随机森林AdaBoost + 决策树 = 提升树Gradient Boosting + 决策树 = GBDT集成方法众多，本文主要关注Boosting方法中的一种最流行的版本，即AdaBoost。
2024-08-02 20:00:14
1013
原创 线性回归总结
本文主要介绍了简单的线性回归和局部加权线性回归。训练的模型要在测试集比较它们的效果，而不是在训练集上。在局部加权线性回归中，过小的核可能导致过拟合现象，即训练集表现良好，测试集表现就渣渣了。岭回归即我们所说的L2正则线性回归，在一般的线性回归最小化均方误差的基础上增加了一个参数w的L2范数的罚项，从而最小化罚项残差平方和：简单说来，岭回归就是在普通线性回归的基础上引入单位矩阵。回归系数的计算公式变形如下：式中，矩阵I是一个mxm的单位矩阵，加上一个λI从而使得矩阵非奇异，进而能对矩阵求逆。
2024-07-31 09:20:25
375
原创 贝叶斯总结
朴素贝叶斯算法是有监督的学习算法，解决的是分类问题，如客户是否流失、是否值得投资、信用等级评定等多分类问题。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。本篇文章将从朴素贝叶斯推断原理开始讲起，通过实例进行辅助讲解。最后，使用Python3编程实现一个简单的言论过滤器。
2024-07-31 09:18:11
383
原创 逻辑回归总结
收集数据：采用任意方法收集数据。准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式则最佳。分析数据：采用任意方法对数据进行分析。训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。测试算法：一旦训练步骤完成，分类将会很快。使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；接着，基于训练好的回归系数，就可以对这些数值进行简单的回归计算，判定它们属于哪个类别；在这之后，我们就可以在输出的类别上做一些其他分析工作。
2024-07-31 09:17:28
334
原创 KNN总结
k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。
2024-07-31 09:16:38
326
原创 vision transfomer
主流方式是 BERT 提出的，大规模数据集预训练，在 特定领域的小数据集 做微调。feature map (14 * 14) --> GAP globally average-pooling 全局平均池化 --> a flatten vector 全局的图片特征向量 --> MLP 分类。九宫格 9 patches --> Flattened Patches (3 * 3 --> 1 * 9 拍平) --> Linear Projections ---> Patch embedding。
2024-07-18 20:24:54
766
原创 transformer论文讲解
循环层是要我们知道，如果你的序列是长的 N 话，它就一个一个做运算，每个里面它的主要的计算就是一个 N 乘以 N 的矩阵，一个你就是一个 dance layer 然后再乘以你一个长为 D 的一个输入，所以它是一个 N 平方，然后要做 N 次，所以是 N 乘 D 平方。2 种常见的注意力机制：加性的注意力机制（它可以处理你的 query 和 key 不等长的情况，点积 dot-product 的注意力机制 （本文采用 scaled，➗ sqrt(dk) ），所以你可以看到它的名字它叫做 scale 的。
2024-07-18 20:23:56
963
原创 操作系统王道笔记
可灵活地调整对各类进程的偏好程度，比如CPU密集型进程、IO密集型进程。三种链接方式：静态链接（在程序运行前，先将各目标模块及它们所需的库函数连接成一个完整的可执行文件）、装入时动态链接（将各目标模块装入内存时，边装入边链接的链接方式）、运行时动态链接（在程序执行中需要该模块时，才对它进行链接，其优点时便于修改和更新。页表寄存器（PTR），存放页表在内存中的起始地址F和页表长度M，进程未执行时，页表的起始地址和页表的长度放在进程控制块（PCB）中，当进程被调度时，操作系统内核会把它们放在页表寄存器中。
2024-03-19 20:36:04
1044
原创 快速排序（完整）
1.1、选出一个key，一般是最左边或是最右边的。2、定义一个begin和一个end，begin从左向右走，end从右向左走。3、在走的过程中，若end遇到小于key的数，则停下，begin开始走，直到begin遇到一个大于key的数时，将begin和right的内容交换，end再次开始走，如此进行下去，直到begin和end最终相遇，此时将相遇点的内容与key交换即可。（选取最左边的值作为key）4.此时key的左边都是小于key的数，key的右边都是大于key的数。
2023-03-29 22:25:47
187
原创 c++（基础）
所谓数组，就是一个集合，里面存放了相同类型的数据元素数组中的每个==数据元素都是相同的数据类型==数组是由连续的内存位置组成的将一段经常使用的代码封装起来，减少重复代码一个较大的程序，一般分为若干个程序块，每个模块实现特定的功能。函数的定义一般主要有5个步骤：1、返回值类型2、函数名3、参数表列4、函数体语句5、return 表达式返回值类型 函数名 （参数列表）{函数体语句return表达式}返回值类型 ：一个函数可以返回一个值。在函数定义中函数名：给函数起个名称。...
2022-08-09 10:34:02
13696
原创 推荐算法的个人笔记（1）
当客户端已经不再是冷启动阶段，也会借助算法进行推荐的时候，此时的文章倒排，就要借助base score，以及用户行为数据，进行加权，计算一个得分，这个得分，反应了端内大部分用户的兴趣爱好，从而，对于一些新来的用户来说，经过大量的用户验证过的内容，再推荐给用户，至少用户不会反感。如果把上面有的w去掉，就成了一个全连接神经网络，x是一个向量，表示是一个输入层的值，s是一个中间值，就是一个隐藏层的值，u表示x到s的权重矩阵，o也是一个向量，是输出层的值，v是隐藏层到输出层的值，v是是到o的权重矩阵，...
2022-08-03 20:51:00
538
原创 如何在本机上连接服务器的mysql
1.首先，在服务器数据库上创建一个数据库：在这里，注意的是，访问权限是所有人，记得打开你的服务器的端口号是33062.在本机上打开你的数据库软件，例如我的是sqlyog，输入你的id，用户名，密码， 3.最后测试一下：我的mysql的是5.6...
2022-07-08 11:56:47
1067
原创 机器学习十大经典算法之决策树
决策树是机器学习的一种经典算法：决策树，就如他的名字吧，是一个数字是树状结构，树是在大学期间学过的一个数据结构。现在决策树的生成算法有ID3, C4.5和C5.0等，已经发展比较久了。其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果其中运用到了有监管学习，监管学习是一种有标签的样本，每一个样本都有一组属性和一个分类结果，也就是分类结果已知，通过这些样本的学习...
2022-04-06 18:12:36
922
原创 机器学习之逻辑回归
1.逻辑回归的介绍Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。2....
2022-04-03 17:58:31
1085
原创 python中的xlwt和xlrt的基础操作
import xlrdimport xlrd# 打开Excel文件读取数据data = xlrd.open_workbook('lxr.xls')sheet_name = data.sheet_names() # 获取所有sheet名称print(sheet_name) # ['银行2', '银行3']table = data.sheets()[0] #通过索引顺序获取table1 = data.sheet_by_index(0) #通过索引顺序获取print(t.
2022-03-31 19:43:13
1082
原创 机器学习的类型和机器学习之最近邻居/k-近邻算法 (K-Nearest Neighbors,KNN)
机器学习中主要分为三大类：1.监督学习算法 (Supervised Algorithms）:在监督学习训练过程中，可以由训练数据集学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。该算法要求特定的输入/输出，首先需要决定使用哪种数据作为范例。例如，文字识别应用中一个手写的字符，或一行手写文字。主要算法包括神经网络、支持向量机、最近邻居法、朴素贝叶斯法、决策树等。 无监督学习算法 (Unsupervised Algorithms):这类算法没有特定的目标输出，算法
2022-03-25 17:29:34
652
原创 机器学习之线性回归算法 Linear Regression
回归分析（Regression Analysis）是统计学的数据分析方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测其它变量的变化情况。线性回归算法（Linear Regression）的建模过程就是使用数据点来寻找最佳拟合线。例如：y = k x +b;是一个线性回归算法其中分为二种回归： 1.一元的回归方程 2.多元的回归方程 3.线性回归的算法流程： 1）初...
2022-03-25 14:50:35
2329
原创 机器学习的十大经典算法——SVM
1.支持向量1线性可分什么叫做线性可分？就如这个图片所以显示，就是二个不同种类的点，被一条直线所分1.2 最大间隔超平面通俗易懂的来说，就是用线性可分的二种不同的类型点，然后用一条直线分开的那天直线，然后用两条平行于这个直线的两条直线，将二个不同种类的点分的更加开一点，这两条直线围成的平面叫做超平面为了使这个超平面更具鲁棒性，我们会去找最佳超平面，以最大间隔把两类样本分开的超平面，也称之为最大间隔超平面。两类样本分别分割在该超平面的两侧； 两侧距离超平面最近的样本点到.
2022-03-24 16:27:30
4028
原创 基于VGG的猫狗识别
1、首先进行图像处理：import csvimport globimport osimport randomos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersimport numpy as npgpus = tf.config.experimental.list_physical_
2022-03-19 21:13:27
2637
原创 yolo 思维大突破
1.yolo与其他神经网络的不同之处：YOLO将物体检测作为回归问题求解。基于一个单独的end-to-end网络，完成从原始图像的输入到物体位置和类别的输出。从网络设计上，YOLO与rcnn、fast rcnn及faster rcnn的区别如下：[1] YOLO训练和检测均是在一个单独网络中进行。YOLO没有显示地求取region proposal（下采样）（翻译为区域提案）的过程。而rcnn/fast rcnn 采用分离的模块（独立于网络之外的selective search方法）求取候选框（可.
2022-03-18 21:02:13
1572
原创 python爬虫的urlib知识梳理
1:urlib.request.urlopen 发送请求 get post网络超时 timeout=0.1网络请求 模拟一个浏览器所发送的网络请求创建requestrequest 头信息 ➕host/IP ➕验证 ➕请求方式cookice 客户返回响应数据所留下来的标记代理ip Urlib.request.proxyhander字典类型异常处理 code reason h...
2022-03-16 08:19:33
2892
原创 Java和django
类：类的定义：[修饰符] class 类名 [extends 父类名] [implements 接口名]{ }函数的调用： public Person() { System.out.println("2"); } public Person(int age) { this(); System.out.println(age); }}public class lianx{ public static ...
2022-03-15 09:35:23
1475
原创 Java在类之前的知识梳理
1.[修饰符] class 类名{代码}2.System.out.println("这是一个java程序");3.public class HelloWorld{public static void main(String[] args){ System.out.println("12"); System.out.println("1"+"2"); }}4.注解1.单行注解//2.多行注解 /* */3.文件注解/*****
2022-03-14 21:05:44
670
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人