自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 机器学习和深度学习基础的一些思考

1.元组和链表有什么区别 2.GBDT讲一下(GBDT的回归和分类) 3.讲一下决策树的分叉的方法 4.讲一下RNN和LSTM的区别 5.讲一下transformer和lstm的区别 6.java中hashmap如果有hash冲突怎么办? 7.讲一下linklist和arraylist...

2020-03-26 15:22:31 68 0

原创 torch中三维四维矩阵运算,以及多维softmax运算

三维矩阵*三维矩阵 import torch tensors = torch.tensor([[[1,2],[1,2],[1,2]],[[1,2],[1,2],[1,2]],[[1,2],[1,2],[1,2]]]) print(tensors.data) print(tensors.da...

2020-03-15 13:27:59 261 0

原创 torchtext不支持对数据进行拆分

train_path = '../data/match_data/train.csv' test_path = '../data/match_data/dev.csv' all_train_data = pd.read_csv(train_path) tra...

2020-03-15 12:53:45 40 0

原创 torch实现ESIM算法

ESIM的模型代码见: # -*- coding: utf-8 -*- # @Time : 2020/2/25 11:19 # @Author : liusen from torch import nn import torch import torch.nn as nn import tor...

2020-03-15 12:51:15 183 1

原创 英文音标学习

字母有两个发音 1.名称音 字母在单词表中的发音 2.读音 字母的单词中的发音

2020-03-07 19:58:36 56 0

原创 dropout的实现方法

dropout详解 dropout的实现方法

2020-03-05 14:42:29 156 0

原创 torchtext进行文本预处理

torchtext文本预处理学习链接

2020-02-26 17:24:07 85 0

原创 torch使用lstm进行文本分类

文本分类学习链接

2020-02-26 17:15:52 168 0

原创 torch实现one-hot对label进行处理

学习链接

2020-02-26 17:12:07 57 0

原创 贪心学院从BERT到XLNET

在b站看贪心学院最后一节课从BERT到XLNET的分享 上面PPT可以看到 1.XLNET是Autoregressive模型而BERT是Auto-encoding模型,两种模型的对比解释见https://blog.csdn.net/qq_33876194/article/details/9...

2020-02-24 19:49:18 139 0

原创 文本分类之多标签分类

多标签分类综述 意义 网络新闻往往含有丰富的语义,一篇文章既可以属于“经济”也可以属于“文化”。给网络新闻打多标签可以更好地反应文章的真实意义,方便日后的分类和使用。 难点 类标数量不确定,有些样本可能只有一个类标,有些样本的类标可能高达几十甚至上百个。  类标之间相互依赖,例如包含蓝天类...

2020-02-19 11:30:12 462 0

原创 贪心学院ELmo模型讲解记录

1.应该是(v晚上)是用(h2(3) + h2(2) + h2(1))加权平均获得,权值根据下游的任务进行训练获取

2020-02-18 18:12:55 59 0

原创 贪心学院transformer模型讲解记录

1.FFN层和z1和z2层是不同的,FFN层是隔开的,权重不共享的,而Z1和Z2不是隔开的 2.Q,K,V是借鉴了搜索的思维在里面,Q是query的意思,<K,V>是<key,value>的意思,Q值就是word应该映射一会进行搜索的值,K是搜索的目标,V是目标值,类...

2020-02-18 15:05:10 95 0

原创 达摩院NLPer分享soft-lexicon

实体识别使用GCN+soft-Lexicon 1.lattice-lstm只能用在RNN中,而soft-Lexicon只是词的embedding有改动啊,后面可以接入各种模型 2.lattice-lstm 里面可以看出做各种attention的输入 3.Lexicon 还考虑了就是字在词中的...

2020-02-14 17:45:05 74 0

原创 梯度消失和梯度爆炸以及batch normalization

梯度消失和梯度爆炸的详细讲解 莫烦的视频讲解BN github代码地址 for i in range(N_HIDDEN): # build hidden layers and BN layers input_size = ...

2020-02-14 17:27:45 51 0

原创 项目管理流程

1.弄清楚项目的目标,也就是对应的业务指标,做一个项目要对业务有什么帮助? 2.弄清楚功能有哪些,通过哪些技术可以实现,实现效果怎么样,判断是否有替代方案来解决这个问题,或者对功能进行修改。 3.整理好具体技术方案以后,形成工程流程图 4.分析需要做什么工作,对工作进行划分,切割,开是否能并...

2020-02-14 16:27:13 29 0

原创 MLE,MAP,贝叶斯的区别

区别讲解连接 思考: MLE是最大化参数 MAP也最大化参数但是考虑了情况出现的概率,先验概率,就是硬币投掷结果的概率 贝叶斯考虑原因的概率大小 ...

2020-02-13 14:40:19 53 0

原创 莫烦Pytorch学习笔记

学习笔记整理连接 莫烦Pytorch的github代码 CNN章节: 讲解CNN的时候padding的值等于 (kernel_size-1)/2 还有每一个层的参数的shape计算很重要 还有卷积核的作用(过滤信息) 池化层的作用降维并且抓住主要特征(为什么要用池化,池化mean和ma...

2020-02-10 18:03:51 71 0

原创 torch中的tensor可以跟numpy中的array进行转化

转化学习连接 import numpy as np import torch numpy_data = np.arange(6).reshape([2, 3]) torch_data = torch.from_numpy(numpy_data) tensor2array = torch_...

2020-02-09 13:01:23 63 0

原创 warm up对深度学习训练的影响

warm up的学习链接

2020-01-16 14:38:48 197 0

原创 深度学习数据归一化的方法

normalization的介绍 详细介绍LN BN的tensorflow调用方法 CNN使用BN方法 BN是对同一batch的样本进行归一化(使用高斯归一化方法) BN是同一个batch的样本进行归一化如果batch特别小的时候就会出现不稳定情况 BN不能对长度大小不一致的RNN进行...

2020-01-16 14:30:27 52 0

原创 Python代码规范

google开源代码规范

2020-01-12 15:13:31 42 0

原创 有词典领域的实体识别(实体消歧)和实体链接方法

学习链接 比赛第一名开源 作者使用BERT+CRF和BERT+ENE两种方法进行融合来进行实体识别 BERT+ENE可以根据词典进行歧义判断(转化成二分类标签而不是序列标注标签进行处理)来解决CRF出现识别缺少一个字的情况,充分利用词典的优势(有些场景下实体识别基本是词典消歧 黄山(市) 黄...

2020-01-12 14:46:04 192 0

原创 executable file not found in $PATH bug解决方法

解决方案链接

2020-01-12 11:32:00 146 0

原创 解决镜像无法删除的问题

删除容器和镜像

2020-01-12 11:30:32 48 0

原创 镜像加载之后出现tag名字为none

镜像加载之后出现none的解决办法

2020-01-12 11:28:00 31 0

原创 推荐系统综述

FM系列推荐模型 GBDT+LR 机器学习算法汇总 lightLGB可以替换GBDT生成lightLGB+LR模型进行推荐 FM模型: 1.主要添加特征之间的交互 FFM模型: 1.FFM跟FM比较主要添加一个field的特征 FM和FFM对比文章 FFM中field也存在一个向...

2020-01-09 16:09:53 31 0

原创 关系抽取之远程监督

远程监督综述 思考: 1.无监督的方法会出现语义漂移的情况 2.无监督的方法怎么计算相似度阈值? 3.远程监督的方法通过多个二分类可以解决一句话多个关系情况有一定的纠错能力 远程监督的纠错能力举例子: 小明和小红 有 夫妻关系和同学关系两种关系 小明跟小红是夫妻 因为同时出现小明和小...

2020-01-09 15:44:31 129 0

原创 git如何进行merge request

request步骤

2020-01-03 14:55:03 155 0

原创 胶囊网络学习链接

胶囊网络学习博客 胶囊网络文本分类代码 胶囊网络 其中求解cij使用动态路由算法进行计算

2019-12-30 14:16:08 57 0

原创 小样本学习综述

说到小样本学习一定要先看Meta Learning 小样本学习的名词解释说明 MAML算法提供一个模型无关计算框架,怎么做到模型无关,主要是loss计算不同,计算框架类似adaboost,里面可以换各种算法 Model-Agnostic Meta-Learning for Fast Adap...

2019-12-30 13:47:20 99 0

原创 pytorch模型训练步骤

讲解代码textcnn模型 1.加载conf文件 x = import_module('models.' + model_name) config = x.Config(dataset, embedding) 2.加载model,初始化conf里面值 mod...

2019-12-22 12:44:42 141 2

原创 使用对抗训练提高textcnn的文本分类准确率

实验算法pytorch里面的textcnn算法 对抗学习代码博客 Fast Gradient Method(FGM) 对输入的embedding进行对抗扰动 说明对embedding进行扰动 pytorch算法中的embedding表示 ...

2019-12-22 11:40:31 221 0

原创 rasa_core中报错Timezone offset does not match system offset: 0 != -32400. Please, check your config fil

解决问题链接

2019-12-09 16:18:41 82 0

原创 rnn之dropout

rnn源码解析 专门论文讨论dropout dropout的应用问题 思考: dropout在两个位置进行结果相差不多?为什么?跟论文不一致

2019-12-02 15:38:22 79 0

原创 BERT进行文本分类和文本匹配的不同

def convert_single_example(ex_index, example, label_list, max_seq_length, tokenizer): """Converts a singl...

2019-11-27 15:27:48 279 0

原创 ELECTRA模型跟BERT的区别

综合分析ELECTRA跟BERT模型的对比 思考: 1.类似GAN模型,但是由于梯度不能从判别模型到生成模型,所以只能综合两者的损失值对生成模型进行损失传递。 2.生成损失 对生成模型进行传导 生成损失+判别损失 对判别模型进行传导 ...

2019-11-24 16:32:13 241 0

原创 roberta跟bert的对比

roberta到底改进了什么? 三个训练改进: 去掉下一句预测(NSP)任务 动态掩码。BERT 依赖随机掩码和预测 token。原版的 BERT 实现在数据预处理期间执行一次掩码,得到一个静态掩码。 而 RoBERTa 使用了动态掩码:每次向模型输入一个序列时都会生成新的掩码模式。这样,在...

2019-11-24 16:13:52 738 0

原创 NLP比赛模型融合的思路

比赛模型融合思路 1.就是先训练第一个模型然后冻结第一个模型然后训练两个模型,这种方法两个模型最好属于两个体系,一个CNN一个RNN tensorflow模型冻结方法 2.训练多个模型,然后用模型的预测结果[0.1,0.9]表示第二类,多个模型的相加选取最高的作为结果。等权重融合,也可以根据...

2019-11-22 14:00:46 230 0

原创 文本匹配算法总结

文本相似度计算总结 孪生神经网络算法 思考: 1.孪生神经网络算法什么时候进行权重共享? 2.是否可以加attention+cnn进行增强。 3.孪生神经网络算法可以通过网络计算出句向量,新的句子出来的时候可以直接跟句向量进行计算相似度,提高速度。 4.可以使用孪生神经网络算法进行粗排...

2019-11-22 11:09:58 115 0

提示
确定要删除当前文章?
取消 删除