epiphany0711-CSDN博客

原创 GCN实战

数据集采用的是Cora数据集首先导入所需的库import itertoolsimport osimport os.path as ospimport pickleimport urllibfrom collections import namedtupleimport numpy as npimport scipy.sparse as spimport torchimport torch.nn as nnimport torch.nn.functional as Fimport

2020-08-21 16:26:30 592

原创图神经网络学习记录

概述图（Graph）数据包含着十分丰富的关系型信息。从文本、图像这些非结构化数据中进行推理学习，例如句子的依赖树、图像的场景图等，都需要图推理模型。图网络（Graph neural networks）是一种链接主义模型，它靠图中节点之间的信息传递来捕捉图中的依赖关系。图神经网络(GNN)基本思想图神经网络的一个基本思想就是基于节点的局部邻居信息对节点进行embedding。直观来讲，就是通过神经网络来聚合每个节点及其周围节点的信息。图神经网络的几个性质如下：节点在每一层都会有embeddin

2020-08-14 19:20:04 207 1

原创集成学习-学习记录

集成学习在监督学习算法中，我们希望我们通过训练得到的模型是一个各方面表现稳定表现良好的模型，但是实际情况是训练得到的模型会是一个在某方面有所偏好的模型，通过集成多个学习器，通过多个学习器相结合，来获得一个比单一学习器更加优越的泛化性能。一般集成学习会通过重采样来获得一定数量的样本，然后训练多个弱学习器(分类精度稍大于50%)，然后采用特定的集成方法来选择分类结果。集成学习分类：目前根据个体学习器的生成方式，集成学习可以分为两大类：个体学习器之间存在较强的依赖性，无法并行的生成只能串行生成的序列化

2020-08-07 13:07:08 247

原创端到端学习，多任务学习学习记录

1.端到端学习(End to End Learning)过去为了解决一个人工智能问题（以图像识别为例）往往需要通过分分治法将其分解为预处理、特征提取和选择、分类器设计等若干个步骤。分治法的动机是为了将大的复杂的问题分解为一个个简单的问题。但是分步解决子问题时，尽管可以在子问题上得到最优解，但是子问题的最优解并不意味着就能在全局上得到一个最优的解。对于一个经典的自然语言处理问题，包括了分词，词性标注，句法分析，语义分析等多个独立步骤，每个步骤是一个独立的任务，其上一步结果的好坏都会对下一步造成影响，从而影响

2020-07-31 00:18:49 194

原创注意力机制学习记录

1.自注意力机制自注意力机制(Self-Attention)，在KQV模型的特殊点在于K=Q=V，其实文本和文本自己求相似度再和文本本身相乘计算得到。首先，self-attention会计算出三个新的向量，将这三个向量分别称为Query，Key，Value，这三个向量是用embedding向量和一个随机初始化的矩阵相乘得到的。接着计算self-attention的分数值，该分数值决定了我们在某个位置encode一个词时，对输入句子的其他部分的关注程度。分数的计算方法是Query和Key做点乘。接下来，把

2020-07-24 12:52:24 646

原创 textCNN，RCNN，DPCNN，HAN学习记录

1.textCNN1.1textCNN简介目前，大多数的深度学习都是从CNN神经网络模型开始的，但CNN更多地被应用于图像领域之中，因为一张图片可以很容易地被抽象成一个矩阵的形式，矩阵的每一个元素可以看做是图片的一个像素点，定义一个或多个CNN的卷积核，可以很容易的进行卷积操作，进而通过池化操作，就可以抽取图片中的特征。而文本数据相较于图片就难处理得多，首先，我们无法去规范一个词的大小，因为它可能是一个字，也可能是很多字的组合，在上一层，我们也无法确定一个句子中有多少个词，由于这种不确定，我们需要进行一

2020-07-17 16:35:40 1161

原创 CNN,RNN,LSTM,GRU学习记录

1.CNN(Convolutional Neural Networks，卷积神经网络)1.1神经元就像人类的神经网络一样，卷积神经网络也是由大量的神经元相互连接而成，每个神经元接受线性组合的输入之后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表权值，称之为权重（weight）。不同的权重和激活函数，就会导致神经网络不同的输出。神经网络的每个神经元如下：基本wx+b的形式，其中x1、x2表示输入的变量，w1，w2为权重，有几个

2020-07-10 01:22:45 1090

原创 Bert学习记录

这里写自定义目录标题Seq2Seq模型Attention2018年的10月11日，Google公司发布了《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功地在11项NLP任务中取得了state of the art的结果，获得了一众赞誉。论文原文链接：《Pre-training of Deep Bidirectional Transformers for Language Understandin

2020-07-03 15:09:52 205

m0_46708519的博客