解决Flink中could not find implicit value for evidence parameter of type报错

最新推荐文章于 2021-10-11 13:05:02 发布

augie_ly

最新推荐文章于 2021-10-11 13:05:02 发布

阅读量255

点赞数 1

分类专栏： Flink 文章标签： flink 大数据

本文链接：https://blog.csdn.net/weixin_43777152/article/details/109336814

版权

Flink 专栏收录该内容

8 篇文章 1 订阅

订阅专栏

批处理 WordCount

报错信息如图：

在这里插入图片描述

原因分析：

在flink中的大部分算子中，并没有默认的隐式类型参数的定义，我们在使用时也没有显式地指定类型，因此会报类型异常。

解决方案：

import org.apache.flink.api.scala._

代码如下：

package com.jh.wc
import org.apache.flink.api.scala._
import org.apache.flink.api.scala.{AggregateDataSet, DataSet, ExecutionEnvironment}

object WordCount {
  def main(args: Array[String]): Unit = {
    //创建执行环境
    val env = ExecutionEnvironment.getExecutionEnvironment
    //从文件中读取数据
    val path = "F:\\IdeaProject\\FlinkTutorial\\src\\main\\resource\\hello.txt"
    val inputDS: DataSet[String] = env.readTextFile(path)
  //分词之后，对单词进行 groupby分组，然后用 sum进行聚合
    val res: AggregateDataSet[(String, Int)] = inputDS
      .flatMap(_.split(" "))
      .map((_,1))
      .groupBy(0)
      .sum(1)
    //控制台打印
    res.print()
  }

}