puredreammer的博客

好好学习,天天向上

ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记

一、ELMO ELMO是通过基于RNN来预测词向量的,如下图所示,对于“潮水退了就知道谁没穿裤子”这句话里面的“潮水”这个词,通过正向RNN和逆向RNN都会产生一个词向量,然后把这两个词向量进行加权得到最后的词向量。其中加权的权重参数是从下游任务里面学习到的。 二、BERT BERT...

2019-08-05 22:02:52

阅读数 6

评论数 0

Gensim中word2vec和doc2vec的基本用法

一、 word2vec: from gensim.models.word2vec import Word2Vec model = Word2Vec(lines, sg=1, size=100, window=5, min_count=5, negative=3, hs=1) 其中li...

2018-09-14 21:40:54

阅读数 615

评论数 2

Keras中LSTM参数的含义

units:是输出的维度。  在下图中,中间的绿色cell 里面有四个黄色小框,每一个小黄框代表一个前馈网络层,对,就是经典的神经网络的结构,num_units就是这个层的隐藏神经元个数,就这么简单。其中1、2、4的激活函数是 sigmoid,第三个的激活函数是 tanh。 参考:https:/...

2018-09-14 21:35:03

阅读数 7125

评论数 0

使用tensorflow卷积神经网络实现mnist手写数字识别

在实现mnist手写数字识别的时候,看了极客网上的例子,自己试着实现了一下,但是期间发现了很多问题。于是就把值得注意的地方写在注释里面了,以供后面查阅温习。 import tensorflow as tf from tensorflow.examples.tutorials.mnist imp...

2017-10-30 18:25:42

阅读数 2289

评论数 0

浅谈词嵌入(word embedding)

今天在李宏毅老师的公开课上学习了word embedding,中文就是词嵌入的意思。故将学习内容整理一下,方便以后回顾。 1.       引入 计算机如何理解一句话,一篇文章的意思呢?计算机是用来做数值运算的,故需要将单词或者词组转换成数字,才能进行存入计算机进行计算机。怎么将文字转化成数字呢?...

2017-10-24 16:09:53

阅读数 4898

评论数 1

奇异值分解(SVD)原理与在降维中的应用

转载自:http://www.cnblogs.com/pinard/p/6251584.html 奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。...

2017-10-24 15:17:49

阅读数 543

评论数 0

用Python的sklearn库进行PCA(主成分分析)

在python的sklearn的库里面集成很多机器学习算法的库,其中也包括主成分分析的方法。 接下来讲讲怎么在python里面使用pca算法 首先要导入库: from sklearn.decomposition import PCA 下面是官网上的例子: >>> X = np....

2016-08-20 00:14:27

阅读数 53904

评论数 6

Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected

Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected

2015-12-22 16:39:08

阅读数 738

评论数 0

哈夫曼树的创建以及编码

在codeblocks下编译运行通过。 #include #include #include typedef struct{ int weight; int parent,lchild,rchild; }HTNode,*HuffmanTree; typedef char **Hu...

2015-11-17 21:22:54

阅读数 607

评论数 0

二叉树的先序 中序 后序 层次遍历 求叶节点个数、深度、最大元、最小元

二叉树的常用操作

2015-11-17 17:20:42

阅读数 1125

评论数 0

提示
确定要删除当前文章?
取消 删除