自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 知识图谱

图数据库 包含节点和关系 节点:有属性(键值对形式存储),也可以有多个标签 关系:有名字和方向,并总是有一个开始节点和结束节点 neo4j图数据库 在neo4j目录输入start启动,在浏览器输入localhost:7474进入界面 APOC组件 需要安装: apoc-3.4....

2019-10-09 17:19:33

阅读数 6

评论数 0

原创 Bert-实战

参考BERT fine-tune 终极实践教程 Bert 实战 bert在主要分为两个任务:一、训练语言模型和预训练部分(run_pretraining.py),二、训练具体任务的fine-turning部分(run_classifier.py适用于分类情况/run_squad.py适用于问答情...

2019-09-18 18:22:23

阅读数 39

评论数 0

原创 Bert理论笔记

观b站bert理论视频笔记 Transformer 之前讲的很多了,再多说一点:对于位置编码,使用的是相对位置编码,这样可以保证比较好的相对的位置关系。对于decoder部分不经存在self-attention还有encoder-decoder-attention,并且decoder部分使用m...

2019-08-28 20:20:49

阅读数 35

评论数 0

原创 如何在jupyter里面使用virtualenv创建的虚拟环境

1. 安装virtualenv pip install virtualenv 2. 新建虚拟环境 virtualenv [环境名称] 3. 进入虚拟环境 source [环境名]/bin/activate 4. 退出虚拟环境 deactivate 5. 安装 jupyter kernel...

2019-07-07 21:45:15

阅读数 86

评论数 0

原创 【潜在语义分析】LSI/LSA

LSA 背景介绍 文本挖掘中,主题模型。聚类算法关注于从样本特征的相似度方面将数据聚类。比如通过数据样本之间的欧式距离,曼哈顿距离的大小聚类等。而主题模型,顾名思义,就是对文字中隐含主题的一种建模方法。 比如从“人民的名义”和“达康书记”这两个词我们很容易发现对应的文本有很大的主题相关度,但...

2019-05-10 13:38:09

阅读数 45

评论数 0

原创 决策树

决策树 一、 基本介绍 1.1 树模型 决策树:从根节点开始一步步走到叶子节点(决策) 所有的数据最终都会落到叶子节点,既可以做分类也可以做回归 1.2 树的组成 根节点:第一个选择点 非叶子节点与分支:中间过程 叶子节点:最终的决策结果 1.3 决策树的训练与测试 训练...

2019-05-01 12:02:15

阅读数 39

评论数 0

原创 刁钻数据的处理(处理不平衡数据)

不平衡数据分类学习 一、 不平衡数据的出现场景 搜索引擎的点击预测 点击的网页往往占据 很小的比例 电子商务领域的商品推荐 推荐的商品被购买的 比例很低 信用卡欺诈检测 网络攻击识别 … 二、 解决方案 2.1 从数据的角度:抽样,从而使得数据相对均衡 随机欠采样:从多数类中...

2019-04-23 11:23:55

阅读数 42

评论数 0

原创 Transformer

Transformer 先放一个jalammar博客 transformer总体结构 为什么有多个encoder呢?:从下往上可以提取表层的词法信息 -> 抽象的语义信息 encoder到decoder的部分就是attention部分,进行信息传递和交互 encoder和de...

2019-04-05 21:49:36

阅读数 99

评论数 0

原创 ELMO

ELMO Jay Alammar大佬的博客 迁移学习NLP:BERT、ELMo等直观图解 嵌入(Embedding)的新时代 词嵌入一直是影响NLP模型处理语言的主要力量。Word2Vec和Glove等方法已被广泛用于此类任务。Word2Vec让我们可以使用一个向量(一个数字列表)以一种捕获语义...

2019-04-05 14:11:38

阅读数 66

评论数 0

转载 HMM和Viterbi算法

HMM模型和Viterbi算法

2019-03-09 21:35:38

阅读数 50

评论数 0

转载 seq2seq

真正的完全图解Seq2Seq Attention模型

2019-02-23 15:02:54

阅读数 46

评论数 0

原创 HAN分层注意网络

HAN 结构 * 输入词向量序列后,通过词级别的Bi-GRU后,每个词都会有一个对应的Bi-GRU输出的隐向量h,再通过uwu_wuw​向量与每个时间步的h向量点积得到attention权重,然后把h序列做一个根据attention权重的加权和,得到句子summary向量s2,每个句子再通过同...

2019-02-08 10:57:27

阅读数 243

评论数 0

转载 Jacobian矩阵和Hessian矩阵

Jacobian矩阵和Hessian矩阵

2019-02-02 23:37:41

阅读数 256

评论数 0

转载 Noisy Channel模型

Noisy Channel模型纠正单词拼写错误

2019-02-02 23:29:45

阅读数 109

评论数 0

原创 N-gram模型和Smothing

自然语言处理中N-Gram模型的Smoothing算法

2019-02-02 23:19:35

阅读数 47

评论数 0

原创 生成模型和判别模型

机器学习与深度学习里生成模型和判别模型的理解

2019-02-02 23:17:02

阅读数 17

评论数 0

转载 Attention model

目前主流的attention方法都有哪些?

2019-01-30 21:58:08

阅读数 55

评论数 0

原创 吴恩达序列模型学习记录

GRU里面的c和a是相等的,这和LSTM不一样 LSTM 这里使用的时a和x一起来计算门值(遗忘门,更新门,输出门),注意使用的tanh和sigmoid 注意到上面的这条红线,只要确定的设置了遗忘门和更新门,LSTM就可以很容易把c0传递到右边,这就是为什么GRU和LSTM可以实现...

2019-01-30 21:22:52

阅读数 44

评论数 0

转载 深入理解Batch Normalization批标准化

深入理解Batch Normalization批标准化

2019-01-30 14:47:19

阅读数 25

评论数 0

原创 TextRNN及与其他模型的组合

首先复习一下基础的RNN结构如下所示 开始正题 一、LSTM模型 LSTM(Long Short-Term Memory)是长短期记忆网络,是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。 就是所谓的该记得会一直传递,不该记得就被“忘记”。 LSTM“记忆细胞...

2019-01-28 23:24:40

阅读数 96

评论数 0

提示
确定要删除当前文章?
取消 删除