深度学习
云杉123
研究方向NLP,爱好篮球、骑行!
展开
-
Spark独立应用程序编程
上文搭建了spark平台,本文通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包。相应的,Java 程序使用 Maven 编译打包,而 Python 程序通过 spark-submit 直接提交。 1、安装sbt 2、Scala应用程序代码原创 2017-01-10 13:16:39 · 2220 阅读 · 0 评论 -
利用Word2Vec训练词向量过程
先明确一点,选用不同的词向量作为模型的初始值,效果的差异非常大!那么怎么产生一个好的词向量呢?参看文章http://licstar.net/archives/tag/%E8%AF%8D%E5%90%91%E9%87%8F1、英文的词向量可以训练,也可以用Google训练好的那个模型。 2、但是中文就不行了,没有一个公布一个权威的词向量。所以,当我们自己做试验时,就需要动手训练这个语义空间的词向量(原创 2017-02-11 02:05:40 · 10512 阅读 · 2 评论 -
Attention机制
转载自:http://blog.csdn.net/malefactor/article/details/50550211Attention机制的基本思想是相当直观简洁的,是从人脑注意力模型引入的概念。人脑的注意力模型,说到底是一种资源分配模型,在某个特定时刻,你的注意力总是集中在画面中的某个焦点部分,而对其它部分视而不见。Encoder-Decoder框架可以这么直观地去理解:可以把它看作适合处理转载 2017-03-01 20:09:46 · 2082 阅读 · 0 评论 -
写代码训练词向量时踩过的坑
在用python的第三方包gensim训练词向量时,踩到了如下的坑,记录下来: # -*- coding: utf-8 -*- from gensim.models import word2vec #sentences=word2vec.Text8Corpus(u"C:\\Users\\PengjunZhu\\Desktop\\test1.txt") sentences = [['处理'原创 2017-02-14 00:11:50 · 3290 阅读 · 1 评论