Deeplearning4j之Word2Vec简介和代码演示

1 Deeplearning4j简介

DeepLearning4J （ DL4J ）是一套基于 Java 语言的神经网络工具包，可以构建、定型和部署神经网络。DL4J 与 Hadoop 和 Spark 集成，支持分布式 CPU 和 GPU ，为商业环境 （而非研究工具目的）所设计。 Skymind 是 DL4J 的商业支持机构。

Deeplearning4j 拥有先进的技术，以即插即用为目标，通过更多预设的使用，避免

多余的配置，让非企业也能够进行快速的原型制作。 DL4J 同时可以规模化定制。

https://deeplearning4j.org/cn/index.html

1.2 Word2Vec简介

Word2vec 是一种比较流行的自然语言算法，能创建可以输入深度神经网络的神经词向

量。

1.3 代码实现

（ 1 ） pom.xml 引入依赖

<properties>
<dl4j.version>1.0.0‐beta</dl4j.version>
<nd4j.version>1.0.0‐beta</nd4j.version>
<nd4j.backend>nd4j‐native‐platform</nd4j.backend>
</properties>
<dependencies>
<dependency>
<groupId>org.deeplearning4j</groupId>
<artifactId>deeplearning4j‐core</artifactId>
<version>${dl4j.version}</version>
</dependency>
<dependency>
<groupId>org.deeplearning4j</groupId>
<artifactId>deeplearning4j‐nlp</artifactId>
<version>${dl4j.version}</version>
</dependency>
<dependency>
<groupId>org.nd4j</groupId>
<artifactId>${nd4j.backend}</artifactId>
<version>${nd4j.version}</version>
</dependency>
</dependencies>

（ 2 ）在 application.yml 中增加配置

ai:
#词向量模型
vecModel: E:\\article.vecmodel

（ 3 ）修改服务类 Word2VecService ，增加方法用于构建词向量模型

package com.tensquare.ai.service;
import com.tensquare.ai.util.FileUtil;
import org.deeplearning4j.models.embeddings.loader.WordVectorSerializer;
import org.deeplearning4j.models.word2vec.Word2Vec;
import org.deeplearning4j.text.sentenceiterator.LineSentenceIterator;
import org.deeplearning4j.text.sentenceiterator.SentenceIterator;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;
import java.io.File;
import java.io.IOException;
import java.util.List;
/**
* 把分词文本内容训练成机器符号
* Created by lgh on 2018/3/28.
*/
@Service
public class Word2VecService {
//模型分词路径
@Value("${ai.wordLib}")
private String wordLib;
//模型训练保存的路径
@Value("${ai.vecModel}")
private String vecModel;
//爬虫分词后的数据路径
@Value("${ai.dataPath}")
private String dataPath;
/**
* 合并
*/
public void mergeWord(){
//..........
}
/**
* 根据分词模型生成 词向量模型
*/
public void build() {
try {
//加载数爬虫分词数据集
SentenceIterator iter = new LineSentenceIterator(new
File(wordLib));
Word2Vec vec = new Word2Vec.Builder()
.minWordFrequency(5)
.iterations(1)
.layerSize(100)
.seed(42)
.windowSize(5)
.iterate(iter)
.build();
vec.fit();
//保存模型之前先删除
new File(vecModel).delete();//删除
WordVectorSerializer.writeWordVectors(vec, vecModel);
} catch (Exception e) {
e.printStackTrace();
}
}
}

参数说明：

minWordFrequency 是一个词在语料中必须出现的最少次数。本例中出现不到 5 次的词都不予学习。词语必须在多种上下文中出现，才能让模型学习到有用的特征。对于规模很大的语料库，理应提高出现次数的下限。

iterations 是网络在处理一批数据时允许更新系数的次数。迭代次数太少，网络可能来不及学习所有能学到的信息；迭代次数太多则会导致网络定型时间变长。

layerSize 指定词向量中的特征数量，与特征空间的维度数量相等。以 500 个特征值表示的词会成为一个500 维空间中的点。

windowSize ：表示当前词与预测词在一个句子中的最大距离是多少

seed ：用于随机数发生器。与初始化词向量有关

iterate : 告知网络当前定型的是哪一批数据集。

vec.fit() 让已配置好的网络开始定型。

（ 4 ）修改任务类 TrainTask

package com.tensquare.ai.task;
import com.tensquare.ai.service.CnnService;
import com.tensquare.ai.service.Word2VecService;
import com.tensquare.ai.util.FileUtil;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
import java.io.IOException;
import java.util.List;
/**
* 模型任务类
*/
@Component
public class TrainTask {
@Autowired
private Word2VecService word2VecService;
/**
* 训练模型
*/
@Scheduled(cron="0 30 16 * * ?")
public void makeModel(){
System.out.println("开始合并语料库......");
word2VecService.mergeWord();
System.out.println("合并语料库结束‐‐‐‐‐‐");
System.out.println("开始构建词向量模型");
word2VecService.build();
System.out.println("构建词向量模型结束");
}
}