数据挖掘&人工智能
文章平均质量分 58
puredreammer
这个作者很懒,什么都没留下…
展开
-
Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected
Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected原创 2015-12-22 16:39:08 · 1806 阅读 · 0 评论 -
使用tensorflow卷积神经网络实现mnist手写数字识别
在实现mnist手写数字识别的时候,看了极客网上的例子,自己试着实现了一下,但是期间发现了很多问题。于是就把值得注意的地方写在注释里面了,以供后面查阅温习。import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("原创 2017-10-30 18:25:42 · 3535 阅读 · 0 评论 -
用Python的sklearn库进行PCA(主成分分析)
在python的sklearn的库里面集成很多机器学习算法的库,其中也包括主成分分析的方法。接下来讲讲怎么在python里面使用pca算法首先要导入库:from sklearn.decomposition import PCA下面是官网上的例子:>>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3原创 2016-08-20 00:14:27 · 151382 阅读 · 19 评论 -
奇异值分解(SVD)原理与在降维中的应用
转载自:http://www.cnblogs.com/pinard/p/6251584.html奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一个总结,并讨论在在PCA降维算法中是如何运用运用转载 2017-10-24 15:17:49 · 1041 阅读 · 0 评论 -
浅谈词嵌入(word embedding)
今天在李宏毅老师的公开课上学习了word embedding,中文就是词嵌入的意思。故将学习内容整理一下,方便以后回顾。1. 引入计算机如何理解一句话,一篇文章的意思呢?计算机是用来做数值运算的,故需要将单词或者词组转换成数字,才能进行存入计算机进行计算机。怎么将文字转化成数字呢?第一种方法是:one-hot方法比如说有cat,dog,apple三个词汇。那么就生成一个原创 2017-10-24 16:09:53 · 12490 阅读 · 1 评论 -
Keras中LSTM参数的含义
units:是输出的维度。 在下图中,中间的绿色cell 里面有四个黄色小框,每一个小黄框代表一个前馈网络层,对,就是经典的神经网络的结构,num_units就是这个层的隐藏神经元个数,就这么简单。其中1、2、4的激活函数是 sigmoid,第三个的激活函数是 tanh。参考:https://www.zhihu.com/question/64470274/answer/256379387...原创 2018-09-14 21:35:03 · 31740 阅读 · 2 评论 -
Gensim中word2vec和doc2vec的基本用法
一、 word2vec:from gensim.models.word2vec import Word2Vecmodel = Word2Vec(lines, sg=1, size=100, window=5, min_count=5, negative=3, hs=1)其中lines是[['中国','国人','有限','限公','公司'],['学生','生幼','条款']]这种...原创 2018-09-14 21:40:54 · 3613 阅读 · 2 评论 -
ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记
一、ELMOELMO是通过基于RNN来预测词向量的,如下图所示,对于“潮水退了就知道谁没穿裤子”这句话里面的“潮水”这个词,通过正向RNN和逆向RNN都会产生一个词向量,然后把这两个词向量进行加权得到最后的词向量。其中加权的权重参数是从下游任务里面学习到的。二、BERTBERT 的训练过程有两种方式,一种是MaskedLM,另外一种是预测下一句话的方法。1. Maske...原创 2019-08-05 22:02:52 · 1083 阅读 · 0 评论