Flink日常报错和解决方案记录(企业实战备忘录)

最新推荐文章于 2024-08-07 16:42:07 发布
最新推荐文章于 2024-08-07 16:42:07 发布
阅读量4.3k 收藏 8
点赞数 1
分类专栏： 大数据分析理论和技术
欢迎分享交流，转载请注明出处，谢谢！
本文链接：https://blog.csdn.net/myhes/article/details/103758484
版权

问题：

  • 问题： Flink Scala在进行从Connectors中读取数据时，调用createInput方法遇到隐式转换的报错

现象：
在这里插入图片描述
报错代码段：


    // 获取flink环境
    val flink = ExecutionEnvironment.getExecutionEnvironment

    val inputBuilder = JDBCInputFormat
      .buildJDBCInputFormat()
      // 行类型
      .setRowTypeInfo(new RowTypeInfo(BasicTypeInfo.STRING_TYPE_INFO))
      .finish()

    val souce = flink.createInput(inputBuilder) // ！！！此处出现报错
    souce.print()

 Error:(70, 38) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[org.apache.flink.types.Row]
    val resultSet = flink.createInput(inputBuilder)

源码分析：

  def createInput[T](inputFormat : org.apache.flink.api.common.io.InputFormat[T, _])
  (implicit evidence$7 : scala.reflect.ClassTag[T], evidence$8 : org.apache.flink.api.common.typeinfo.TypeInformation[T])
   : org.apache.flink.api.scala.DataSet[T] = { /* compiled code */ }

注意，在 createInput中使用了隐式转换，提取InputFormat中的ClassTag和TypeInformation，由于隐式转换需要编译器自行识别，此处无法扎到对应的包，因此会出现编译错误，要解决此方法，需要引入饮食转换的包即可。

import org.apache.flink.api.scala._

引入此包后问题得到解决，可以正常编译。
在这里插入图片描述

  • 问题：flink在获取Batch时，遇到找不到实现类的问题

现象：
在这里插入图片描述
报错信息

Exception in thread "main" org.apache.flink.table.api.TableException: Create BatchTableEnvironment failed.
	at org.apache.flink.table.api.scala.BatchTableEnvironment$.create(BatchTableEnvironment.scala:308)
	at org.apache.flink.table.api.scala.BatchTableEnvironment$.create(BatchTableEnvironment.scala:269)
	at FlinkTest$.main(FlinkTest.scala:151)
	at FlinkTest.main(FlinkTest.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.flink.table.api.scala.internal.BatchTableEnvironmentImpl
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:264)
	at org.apache.flink.table.api.scala.BatchTableEnvironment$.create(BatchTableEnvironment.scala:292)
	... 3 more

报错代码：

    // 获取flink环境
    val flink = ExecutionEnvironment.getExecutionEnvironment
    // 批量表环境变量
    val tableEnv = BatchTableEnvironment.create(flink)  // 此处报错

maven依赖

    <!--公共依赖版本号-->
    <properties>
        <flink.version>1.9.0</flink.version>
        <flink.scala.version>2.11</flink.scala.version>
    </properties>

    <dependencies>
		<!--flink start-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-core</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${flink.scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-scala -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_${flink.scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-jdbc -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-jdbc_${flink.scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_${flink.scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>


        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-table-common -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-table-api-scala -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-scala_${flink.scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-table-planner -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_${flink.scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-clients -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${flink.scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!--flink end-->
    </dependencies>

问题分析：
源码中BatchTableEnvironment的类为trait，需要找到其实现类BatchTableEnvironmentImpl，而BatchTableEnvironmentImpl在flink-table-planner_${flink.scala.version}包中实现。

package org.apache.flink.table.api.scala
trait BatchTableEnvironment extends java.lang.Object with org.apache.flink.table.api.TableEnvironment {
  def registerFunction[T](name : scala.Predef.String, tf : org.apache.flink.table.functions.TableFunction[T])(implicit evidence$1 : org.apache.flink.api.common.typeinfo.TypeInformation[T]) : scala.Unit
  def registerFunction[T, ACC](name : scala.Predef.String, f : org.apache.flink.table.functions.AggregateFunction[T, ACC])(implicit evidence$2 : org.apache.flink.api.common.typeinfo.TypeInformation[T], evidence$3 : org.apache.flink.api.common.typeinfo.TypeInformation[ACC]) : scala.Unit
  def fromDataSet[T](dataSet : org.apache.flink.api.scala.DataSet[T]) : org.apache.flink.table.api.Table
  def fromDataSet[T](dataSet : org.apache.flink.api.scala.DataSet[T], fields : org.apache.flink.table.expressions.Expression*) : org.apache.flink.table.api.Table
  def registerDataSet[T](name : scala.Predef.String, dataSet : org.apache.flink.api.scala.DataSet[T]) : scala.Unit
  def registerDataSet[T](name : scala.Predef.String, dataSet : org.apache.flink.api.scala.DataSet[T], fields : org.apache.flink.table.expressions.Expression*) : scala.Unit
  def toDataSet[T](table : org.apache.flink.table.api.Table)(implicit evidence$4 : org.apache.flink.api.common.typeinfo.TypeInformation[T]) : org.apache.flink.api.scala.DataSet[T]
  def toDataSet[T](table : org.apache.flink.table.api.Table, queryConfig : org.apache.flink.table.api.BatchQueryConfig)(implicit evidence$5 : org.apache.flink.api.common.typeinfo.TypeInformation[T]) : org.apache.flink.api.scala.DataSet[T]
  def sqlUpdate(stmt : scala.Predef.String, config : org.apache.flink.table.api.BatchQueryConfig) : scala.Unit
  def insertInto(table : org.apache.flink.table.api.Table, queryConfig : org.apache.flink.table.api.BatchQueryConfig, sinkPath : scala.Predef.String, sinkPathContinued : scala.Predef.String*) : scala.Unit
  @scala.throws[scala.Exception]
  override def execute(jobName : scala.Predef.String) : org.apache.flink.api.common.JobExecutionResult
  override def connect(connectorDescriptor : org.apache.flink.table.descriptors.ConnectorDescriptor) : org.apache.flink.table.descriptors.BatchTableDescriptor
}
object BatchTableEnvironment extends scala.AnyRef {
  def create(executionEnvironment : org.apache.flink.api.scala.ExecutionEnvironment) : org.apache.flink.table.api.scala.BatchTableEnvironment = { /* compiled code */ }
  def create(executionEnvironment : org.apache.flink.api.scala.ExecutionEnvironment, tableConfig : org.apache.flink.table.api.TableConfig) : org.apache.flink.table.api.scala.BatchTableEnvironment = { /* compiled code */ }
}

找了下库依赖中无此包，因此导致编译器找不到，如下图：
在这里插入图片描述

BatchTableEnvironmentImpl包信息：

	<artifactId>flink-table-planner_${scala.binary.version}</artifactId>
	<name>flink-table-planner</name>
	<description>
		This module bridges Table/SQL API and runtime. It contains
		all resources that are required during pre-flight and runtime
		phase.
	</description>

在这里插入图片描述
BatchTableEnvironmentImpl源码：

/*
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */
package org.apache.flink.table.api.scala.internal

import org.apache.flink.api.common.typeinfo.TypeInformation
import org.apache.flink.api.scala._
import org.apache.flink.table.api._
import org.apache.flink.table.api.internal.BatchTableEnvImpl
import org.apache.flink.table.api.scala.BatchTableEnvironment
import org.apache.flink.table.catalog.CatalogManager
import org.apache.flink.table.expressions.Expression
import org.apache.flink.table.functions.{AggregateFunction, TableFunction}

import _root_.scala.reflect.ClassTag

/**
  * The implementation for a Scala [[BatchTableEnvironment]] that works
  * with [[DataSet]]s.
  *
  * @param execEnv The Scala batch [[ExecutionEnvironment]] of the TableEnvironment.
  * @param config The configuration of the TableEnvironment.
  */
class BatchTableEnvironmentImpl(
    execEnv: ExecutionEnvironment,
    config: TableConfig,
    catalogManager: CatalogManager)
  extends BatchTableEnvImpl(
    execEnv.getJavaEnv,
    config,
    catalogManager)
  with org.apache.flink.table.api.scala.BatchTableEnvironment {

  override def fromDataSet[T](dataSet: DataSet[T]): Table = {
    createTable(asQueryOperation(dataSet.javaSet, None))
  }

  override def fromDataSet[T](dataSet: DataSet[T], fields: Expression*): Table = {
    createTable(asQueryOperation(dataSet.javaSet, Some(fields.toArray)))
  }

  override def registerDataSet[T](name: String, dataSet: DataSet[T]): Unit = {
    registerTable(name, fromDataSet(dataSet))
  }

  override def registerDataSet[T](name: String, dataSet: DataSet[T], fields: Expression*): Unit = {
    registerTable(name, fromDataSet(dataSet, fields: _*))
  }

  override def toDataSet[T: TypeInformation](table: Table): DataSet[T] = {
    // Use the default batch query config.
    wrap[T](translate(table))(ClassTag.AnyRef.asInstanceOf[ClassTag[T]])
  }

  override def toDataSet[T: TypeInformation](
    table: Table, queryConfig: BatchQueryConfig): DataSet[T] = {
    wrap[T](translate(table))(ClassTag.AnyRef.asInstanceOf[ClassTag[T]])
  }

  override def registerFunction[T: TypeInformation](name: String, tf: TableFunction[T]): Unit = {
    registerTableFunctionInternal(name, tf)
  }

  override def registerFunction[T: TypeInformation, ACC: TypeInformation](
      name: String,
      f: AggregateFunction[T, ACC])
  : Unit = {
    registerAggregateFunctionInternal[T, ACC](name, f)
  }

  override def sqlUpdate(stmt: String, config: BatchQueryConfig): Unit = sqlUpdate(stmt)

  override def insertInto(
    table: Table,
    queryConfig: BatchQueryConfig,
    sinkPath: String,
    sinkPathContinued: String*): Unit = insertInto(table, sinkPath, sinkPathContinued: _*)
}

解决方法：

  1. 重新编辑maven依赖库，确保包加载到依赖库： (推荐)
        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-table-planner -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_${flink.scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

在这里插入图片描述
2. 手动添加lib依赖库 (不推荐)

时空琴弦
关注
专栏目录
【Flink实战系列】Flink各种报错汇总及解决方案(实时更新中)
JasonLee实时计算
01-25 3万+
这篇文章主要用来记录一下Flink中的常见的报错以及解决方案(以后会持续更新) 1,Table is not an append-only table. Use the toRetractStream() in order to handle add and retract messages. 这个是因为动态表不是append-only模式的,需要用toRetractStream(回撤流)处理...
【Flink实战系列】Flink 各种报错汇总以及解决方案(持续更新中)
JasonLee实时计算
02-06 4567
这篇文章主要用来记录平时使用 Flink 过程中遇到的问题以及解决方案,其实前面已经有一篇这样的文章了,但是那篇文章里面的问题已经很多了,不太方便浏览,所以新开了一篇文章,后面的问题都会更新到这篇文章中. ...
解决Flink中could not find implicit value for evidence parameter of type报错
知其然，知其所以然
05-24 1558
一.出现报错 Error:(23, 41) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[String] val wordcount = inputDataSet.flatMap(_.split(" ")) 翻译： 错误：（23，41）找不到类型为org.apache.flink.api.common.typeinfo.Typ
Flink Table API SQL Could not find any factories that implement ‘org.apache.flink.table.delegation.E
最新发布
qq_45472675的博客
08-07 1041
【代码】Flink Table API SQL Could not find any factories that implement 'org.apache.flink.table.delegation.E。
flink 报错：could not find implicit value for evidence parameter of type 已解决
weixin_46122692的博客
11-06 1919
一、详细报错 Error:(42, 74) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[com.jh.appmarketing23.MarketingUserBehavior] val stream: DataStream[MarketingUserBehavior] = environment.addSource(
Flink sink任务报错： could not find implicit value for evidence parameter of type org.apache.flink.api...
东城庞太师
10-11 516
如图：scala代码开发flink任务，sink到clickhouse时启动报错！ 报错一： could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[org.apache.flink.types.Row] val dataStream = bsTableEnv.toAppendStream[Row](result).map(l..
Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法
Laurence的技术博客
01-31 1001
本问题发生的场景是：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Confluent Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，然后写入到 Hudi 表中。在测试过程中发现：启动写入作业后，Hudi 表中迟迟没有数据写入，而 Flink 作业也没有报错。实际上，这应该是一比较常见的问题，我们的测试环境并没有特别的配置，大多数初次进行集成的开发者，大概率都会遇到这一问题，
Debezium报错处理系列之第102篇：解决Flink CDC报错The db history topic or its content is fully or partially missing
zhengzaifeidelushang的博客
05-10 842
Debezium报错处理系列之第101篇：解决Flink CDC报错The db history topic or its content is fully or partially missing
【Flink】FLink RocksDBListState 报错 You cannot add null to a ListState
九师兄
07-25 658
flink RocksDBListState 报错 You cannot add null to a ListState具体错误信息如下 这个异常的具体原因是什么引起，如何解决呀？ 重启策略已关闭主要报错原因是 对应代码如下 但是这个异常是从windowoperator抛出，没看出来和statebackend有什么关系 就是keyby后数据有null值，过滤就好了，我起初以为是状态后端恢复任务的问题...
could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.Ty
itisnull的博客
04-22 838
scala helloword 报错：could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[(String, Int)] import org.apache.flink.api.scala.{DataSet, ...
【Flnik】解决提交程序到flink集群的异常：Could not complete snapshot 3 for operator Source...
懒懒的小白
07-22 4577
Flink程序运行异常 ：Failure reason: Checkpoint was declined
FlinkSQL to Kafka连接器报错：could not find any factory for identifier ‘kafka‘ that implements
liuwei0376的专栏
05-11 5588
一、软件环境 环境 & 软件 版本 LinuxOS CentOS 7 Flink Standalone单节点测试集群 1.13.6 kafka 0.11.0 Zookeeper 3.4.5 二、启动FlinkSql Client 1.13.6版本的flink中的flinksql客户端还是Beta版本 启动FlinkSql客户端： [bigdata_admin@dn5 bin]$ ./sql-client.sh embedded Setting HADOOP_CONF_
flink.table.api.ValidationException
arbalest1080的博客
08-31 179
怎么回事啊，一直报这个错，有些就可以，有些就不行。
org.apache.flink.table.api.ValidationException: Could not find any factory for identifier ‘doris‘ th
格格颜心
08-01 3127
org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'doris' 打包时需要将多个构件中的class文件或资源文件聚合。资源的聚合需要shade插件提供了丰富的Transformer工具类。
Flink standalone集群问题记录
LeoGanlin的博客
05-11 2227
Flink standalone集群问题记录
新项目报以下异常 : Multiple markers at this line
kmswilliam的博客
07-02 600
新项目报以下异常 : Multiple markers at this line: could not find implicit value for evidence parameter of type org. apache. flink. api. common. typeinfo. Typelnformationtdf. Raytek] ) 完整报错信息 Multiple markers at this line: could not find implicit value for evidence
flink常见故障排除
第一片心意的博客
10-16 6765
flink常见故障排除
小米流式平台演进：一体化解决方案与Flink实战
首先，小米流式平台的愿景是提供一个一体化、平台化的解决方案，为所有业务线处理实时数据，确保高效、稳定和灵活的数据流动。核心组件包括： 1. **流式数据存储**：小米自主研发的消息队列系统Talos，类似于Apache...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

时空琴弦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值