hanlp 训练模型_使用Scala训练Spark机器学习模型,部署到Java应用程序中使用

背景:

建模小组使用Scala开发的Spark机器学习模型(PipelineModel),保存到HDFS某个指定位置。

业务/开发小组需要在Java开发的Web应用程序中加载该模型,对用户提交的数据进行预测。

实现:

实现原理如下图:

63359931d8ae90be68ef357c449ea3d6.png

这里我省略使用Scala进行模型训练和存储的过程。主要讲如何在Java Web程序中加载该模型,并应用它进行预测。

在Java程序中的代码实现如下:(注意:重点是下面***部分的代码。)

        // ......

        // 创建SparkSession
        SparkSession spark = SparkSession.builder().appName("Java Spark Demo").master("local[*]").getOrCreate();

        // 使用HanLP自然语言处理包进行中文分词
        // HanLPTokenizer是自定义的分词工具类
        HanLPTokenizer hanlpTokenizer = new HanLPTokenizer();
        String result = hanlpTokenizer.tokens("章子怡演过什么电影");

        /
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值