word2vec使用过程(Java版)

本文介绍了使用Java版Word2Vec进行训练的步骤,包括下载工具、准备搜狗2012全网新闻数据作为语料库、处理语料(去除HTML标签、分词)、配置训练参数以避免内存溢出,以及训练完成后模型的使用。提供了一份已训练好的模型链接供参考。
摘要由CSDN通过智能技术生成

这里只介绍如何使用,不介绍原理(想要了解原理的看这里

1.下载Word2Vec(Java版地址

2.根据自己情况准备语料库(搜狗2012全网新闻数据

3.处理语料库。
以搜狗2012全网新闻数据为例:
(1)首先处理掉HTML标签并转为utf8编码格式:cat news_tensite_xml.dat | iconv -f gb18030 -t utf-8 -c | grep "<content>" > corpus.txt
(2)进行分词处理,这里使用的ANSJ(jar包下载地址):

public class Test {  
    public static final String TAG_START_CONTENT = "<content>";  
    public static final String TAG_END_CONTENT = "</content>";  

    public static void 
  • 8
    点赞
  • 31
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值