cherish

原创 nlp GLUE 2020.5

GLUEsuper GLUE

原创 fastbert bert蒸馏

目录1 目的和思想2 模型原理2.1 backbone2.2 branch3 知识点3.1 self-distillation3.2 Adaptive Inference4 源码1 目的和思想fastbert 模型的目的：用小模型替代大模型fastbert 的整体思想：自蒸馏、自适应推理模型出自论文: FastBERT: a Self-distilling BERT with Adaptive Inference Time2 模型原理模型训练：pre-training 与 bert 预训练一

原创 库版本问题

python 3.6 + tf 1.15 + keras 2.3.1 + bert4keras 0.10.0

原创 transformer

目录1 模型原理1 encoding部分1 input embedding层2 positional encoding3 自注意力机制4 Add残差连接 和 Norm标准化5 Feed Forward 线性变换1 模型原理模型实现：encoding部分（左边）输入inputs通过 input embedding层positional encoding位置嵌入进入 encoding blockN * {muiti-head attention 自注意力机制Add残差连接 和 Norm标

原创 实体识别方案

Bi-LSTM + CRFBi-LSTM + CNN + CRFTagLMBERT

原创 处理数据

# 做成集合 去重set()# 排序sorted()# 矩阵转置input.t()

原创 pyroch rnn

# hello -> ohlolimport torchfrom torch.nn import Moduleclass model_rnn(Module): def __init__(self, input_size, hidden_size, batch_size, num_layers): super(model_rnn,self).__init__() # 多继承时，防止父类多次调用 self.num_layers = num_layers

原创 RNN

当输入句子时numlayer 结构

原创 pytorch 安装

创建虚拟环境conda create -n pytorch python=3.6激活环境conda activate pytorch退出环境conda deactivate查看工具包pip list查看版本python –version更新conda update python安装conda install python=3.8jupyter的安装conda install nb_condadir() 打开help() 说明说dataset?? 解释...

原创 tensorboard 使用

from torch.utils.tensorboard import SummaryWriterwriter =SummaryWriter("logs")for i in range(100): writer.add_scalar("y=2x", 2*i, i)writer.close()# 命令行输入 tensorboard --logdir=logs --port=6007

原创 plt、nn 使用

import pandas as pdimport numpy as npimport matplotlib.pyplot as pltdata = pd.read_csv('csv_data/test.csv')data.head(3) # 查看前3行data.info() # 查看类型、是否空plt.scatter(data.num,data.debt) # 散点图plt.xlabel('num')plt.ylabel('debt')from torch import nni

原创 dataset 加载 image、label

from torch.utils.data import Datasetimport osfrom PIL import Imageclass MyData(Dataset): def __init__(self, root_dir, image_dir, label_dir): self.root_dir = root_dir self.image_dir = image_dir self.label_dir = label_dir

原创 查询函数用法

原创 tensor 计算

import torcha1 = torch.rand(2,3) # 随机2x3的tensora2 = torch.randn(3, 4)a3 = torch.zeros(1, 4)a4 = torch.ones((1, 2), dtype=torch.int64)print(a2.size())print(a2.shape)print(a2.size(0)) # 0维度a5 = torch.tensor([6, 2], dtype=torch.float32)a5.type() #

原创 dataset、dataloader 加载 txt

数据格式from torch.utils.data import Dataset,DataLoaderimport numpy as npimport torch重载Datasetclass mydata(Dataset): def __init__(self, path): self.xy = np.loadtxt(path,delimiter=',',dtype=np.float32) self.x_data = torch.from_numpy(s

原创 学习路线

network embedding 学习路线模型DeepwalkLINENode2vecGraphSageWalkletsGraRepGraphAttentionSDNEDNGR

原创 SDNE 图向量

目录1 目的和思想2 模型原理2.1 节点编码公式2.2 损失函数2.3 算法3 SDNE 总结1 目的和思想SDNE 模型的目的：将图的顶点表示为向量SDNE 的整体思想：为了保留网络的高度非线性关系模型出自论文: Structural Deep Network Embedding2 模型原理模型实现：将节点通过两次编码为节点向量对节点向量进行两次解码为原来的节点主要是以半监督的方式学习模型，分别有节点的一阶相似性损失和二阶相似性损失函数2.1 节点编码公式2.2 损失函数

原创 LINE 图向量

目录1 目的和思想2 模型原理2.1 随机游走生成序列3 node2vec 总结1 目的和思想LINE 模型的目的：将图的顶点表示为向量LINE 的整体思想：不仅仅考虑一阶相似（直接相连的 node），同时考虑二阶相似（不直接相连的 node，但是邻居有较多公共 node）模型出自论文: LINE: Large-scale Information Network Embedding2 模型原理模型实现（两个不同的模型）：第一个模型：First-order Proximity随机游走生成序列

原创 node2vec 图向量

目录1 目的和思想2 模型原理2.1 Aggregator Architectures 聚集器架构2.1.1 Mean aggregator2.1.2 LSTM aggregator2.1.3 Pooling aggregator2.2 loss 函数3 GraphSage 总结1 目的和思想GraphSage 模型的目的：将图的顶点表示为向量GraphSage 的整体思想：利用邻接点来产生顶点的embeddingGraphSage 属于无监督模型模型出自论文: Inductive Represe

原创 GraphSage 图向量

目录1 目的和思想2 模型原理2.1 Aggregator Architectures 聚集器架构2.1.1 Mean aggregator2.1.2 LSTM aggregator2.1.3 Pooling aggregator2.2 loss 函数3 GraphSage 总结1 目的和思想GraphSage 模型的目的：将图的顶点表示为向量GraphSage 的整体思想：利用邻接点来产生顶点的embeddingGraphSage 属于无监督模型模型出自论文: Inductive Represe

原创 deepwalk 图向量

目录1 目的和思想2 模型原理2.1 random walk2.2 更新向量中参数3 deepwalk 相关知识3.1 Hierarchical softmax（层次 softmax）4 deepwalk 总结4.1 random walk 优点1 目的和思想deepwalk 模型的目的：将图的顶点表示为向量deepwalk 的整体思想：通过word2vec中skip-gram思想，利用某顶点预测random walk的顶点deepwalk 属于无监督模型模型出自论文: DeepWalk: Onl

原创 seq2seq 对话，翻译

目录1 目的和思想2 模型原理2.1 PV-DM（段落向量的分布式存储模型）2.2 PV-DBOW （段落向量的分布式单词包版本）3 doc2vec 总结4 应用任务1 目的和思想seq2seq模型的目的：创建文档向量表示seq2seq 的整体思想：在word2vec的基础上增加了可训练句子的矩阵seq2seq

原创 doc2vec 文档向量

目录1 目的和思想2 模型原理2.1 PV-DM（段落向量的分布式存储模型）2.2 PV-DBOW （段落向量的分布式单词包版本）3 doc2vec 总结4 应用任务1 目的和思想doc2vec 模型的目的：创建文档向量表示doc2vec 的整体思想：在word2vec的基础上增加了可训练句子的矩阵doc2vec 是无监督学习模型出自论文: Distributed Representations of Sentences and Documents2 模型原理模型实现（两种方法）：PV-

原创 C2W 词向量

目录1 目的和思想2 模型原理2.1 语言模型训练2.2 POS（词性标注任务）3 c2w 总结3.1 c2w 优缺点3.1.1 优点3.1.2 缺点4 应用1 目的和思想c2w模型的目的：求出能表示出词与词之间的关系的词向量c2w的整体思想：将单词的字符放在双向 LSTM 能够得到词向量模型出自论文: Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation2

原创 char-cnn 分类

目录1 目的和思想2 模型原理3 char-cnn 总结1 目的和思想char-cnn 模型的目的：分类char-cnn 的整体思想：利用字符级别（以70个固定字符，以1014个文本中字符形成的one-hot 矩阵）进行卷积池化全连接，实现分类模型出自论文：Character-level Convolutional Networks for Text Classification2 模型原理模型实现：建立字符表共70（feature）个字符，将文本以1014（length）的字符进行截断，使

原创 fasttext 词向量

目录1 目的和思想2 模型原理4 SVM 总结5 SVM 函数使用5.1 输入5.2 函数及参数5.3 输出及应用1 目的和思想fasttext 模型的目的：分类、词向量fasttext 的整体思想：用子词向量之和表示一个词2 模型原理模型实现：1.4 SVM 总结SVM 分类时训练数据如果非常大，时间消耗就会很大，同时对多分类问题效果不算太好5 SVM 函数使用5.1 输入特征值+目标值data = [[5.5, 4.7, 1.3, 0], [3.2, 7.2, 1

原创 textcnn 分类

目录1 目的和思想2 模型原理4 textcnn 总结5 textcnn 函数使用5.1 输入5.2 函数及参数5.3 输出及应用1 目的和思想textcnn 模型的目的：分类textcnn 的整体思想：cnn也可以用于nlp，filter不会左右移动，只往下移2 模型原理模型实现：输入词向量，每个词向量维度相同，不够的补零，多的去掉（卷积）用多个filter框词向量，框住的部分与filter做矩阵计算，得到一个值，依次往下移动（池化）将卷积后的矩阵进行池化，变为一个固定长度的矩阵（全连

原创 SVM 分类

目录1 目的和思想2 模型原理2.1 共现矩阵2.2 SVD奇异值分解2.3 回归3 Glove 总结6.6 word2vec优缺点6.6.1 优点6.6.2 缺点7 word2vec 总结8 word2vec 函数使用8.1 输入8.2 函数及参数8.3 输出及应用1 目的和思想Glove模型的目的：求出能表示出词与词之间的关系的词向量Glove的整体思想：词 k 在词 i 和词 j 中的的出现概率有特殊规律模型出自论文: Glove: Global Vectors for Word Repre

原创 Glove 词向量

目录1 目的和思想2 模型原理2.1 共现矩阵2.2 SVD奇异值分解2.3 回归5 超参数6 word2vec相关知识6.1 one-hot和分布式表示6.2 word-embedding(词嵌入)—分布式表示6.3 马尔科夫假设6.4 log-linear model (log线性模型)6.5 Glove 模型6.6 word2vec优缺点6.6.1 优点6.6.2 缺点7 word2vec 总结8 word2vec 函数使用8.1 输入8.2 函数及参数8.3 输出及应用1 目的和思想Glove模

原创 TF-IDF 词向量

目录1 目的和思想2 tf-idf 总结3 tf-idf 函数使用3.1 CountVectorizer3.1.1 输入3.1.2 函数及参数3.1.3 输出及应用3.2 TfidfTransformer3.2.1 输入3.2.2 函数及参数3.2.3 输出及应用3.3 TfidfVectorizer3.3.1 输入3.3.2 函数及参数3.3.3 输出及应用1 目的和思想tf-idf 模型的目的：求出能表示出词与词之间的关系的词向量word2vec的整体思想：句子中相近的词之间是有联系的word2

原创 word2vec 词向量

目录目的和思想模型原理skip-gram的原理CBOW的原理归一化Hierarchical softmax（层次softmax）Negative Sampling（负采样）优化subsampling of frequent words（重采样）模型复杂度超参数word2vec相关知识one-hot和分布式表示word-embedding(词嵌入)—分布式表示马尔科夫假设log-linear model (log线性模型)Glove 模型word2vec优缺点优点缺点word2vec总结目的和思想word