报错荟萃
各种开发中遇到的报错内容
橙子园
落地生根,长成参天大树
展开
-
flink报错踩坑:org.apache.flink.table.catalog.hive.client.HiveShimV100.registerTemporaryFunction
当想使用本地开发环境运行flink读写线上hive数据来运行时报错。我使用maven管理的开发环境依赖。由于代码发布到测试环境集群上跑时并没有报错,而测试环境对应的依赖都是使用放在上面的依赖jar的,并不使用本地maven管理的依赖(也就是没有打入项目jar)。所以我猜测是本地运行环境依赖有问题,也就是项目中maven的pom文件的依赖有问题。在多次检查该项目中maven的pom文件导入的依赖和反复查看flink Table API Connector针对hive的官方文档后终于解决了问题。下面是我处理问题原创 2022-06-11 15:34:55 · 2676 阅读 · 11 评论 -
报错:Could not find a suitable table factory for ‘org.apache.flink.table.factories.TableSourceFactory
重要错误提示:这是在提交yarn时报的错误,原因其实就是少了一些包,提交的集群后一些依赖包使用flink的lib目录下的,所以我需要将一些依赖包放到lib目录下。我们看到缺少的是org.apache.flink.table.factories.TableSourceFactory类,所以对应的应该是flink连接JDBC的包。这里我们去官网上下载你对应flink版本的连接JDBC的包,如下图:放到提交集群的客户机部署的flink的lib目录下。可以看到上面最主要的是缺少依赖包,其实像很多类似的错误都是由于原创 2022-06-08 18:01:54 · 5080 阅读 · 6 评论 -
报错:Cannot set the value of read-only property ‘additionalSourceDirs‘ for task ‘:jacocoRootReport‘ of
完整报错:Build file ‘F:\mycode\kafka-0.10.1.0-src\build.gradle’ line: 297A problem occurred evaluating root project ‘kafka-0.10.1.0-src’.Cannot set the value of read-only property ‘additionalSourceDirs’ for task ‘:jacocoRootReport’ of type org.gradle.testi原创 2022-04-28 11:35:52 · 2346 阅读 · 6 评论 -
tensorflow中TFRecord数据协议缓存区报错:ValueError:Protocol message Feature has no “features“ field
tf.train.Example 是协议缓冲区(protocol buffer,协议缓冲区包含了特征 Features)example=tf.train.Example(features=tf.train.Features( feature={ "image":tf.train.Feature(bytes_list=tf.tra...原创 2018-07-30 12:53:17 · 1784 阅读 · 0 评论 -
关于tensorflow中使用tensorboard时候No dashboards are active for the current data set.问题的解决办法
问题如图:解决办法:import tensorflow as tfa=tf.Variable(initial_value=tf.random_normal(shape=(4,1),mean=0.,stddev=1.),name="a")b=tf.Variable(initial_value=tf.random_normal(shape=(1,4),mean=0.,stddev=...原创 2018-07-25 13:47:25 · 988 阅读 · 0 评论 -
报错:Failed to execute goal org.scala-tools:maven-scala-plugin:2.15.2:compile(default) on Project Data
这个错误主要是由于pom中指定的scala版本高于window 安装的scala版本的原因照成的举个例子:本地win里Scala版本是2.11.12 , IDEA里pom指定的Scala版本是2.10.6 ,是可以的本地win里Scala版本是2.11.12,IDEA里pom指定的Scala版本是2.11.12,是可以的本地win里Scala版本是2.10.6, IDEA里pom指定的Scala版本是2.11.12,不可以所以windows 安装的scala版本一定要比pom指定的版本要高,这样才原创 2022-03-31 17:56:35 · 3740 阅读 · 0 评论 -
hive在hue上使用udf时报错
报错信息:Error while compiling statement: FAILED: SemanticException [Error 10014]: line 1:55 Wrong arguments ‘zw_category_two’: No matching method for class com.medbook.assistant.ArrayIntegrationUDF with (array, array). Possible choices: FUNC(struct<>,原创 2022-01-14 10:55:51 · 2998 阅读 · 0 评论 -
yarn启动后一段时间关闭找不到进程id
yarn启动后一段时间想关闭找不到进程id原创 2021-12-29 17:55:37 · 1829 阅读 · 0 评论 -
spark和java类型转化时报错:Caused by: java.lang.ClassCastException: scala.collection.mutable
错误:Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to java.util.List分析:这个问题,一般是在sparksql中做row转换时候出错,最好一步步排错。这里要说的是, row:Row是先做了一次强制类型转换(asInstanceOf),row的实际类型是Seq[T],但是不能用Array[T],否则就会出现各种scala和java的类原创 2021-07-21 11:23:25 · 1492 阅读 · 0 评论 -
java.lang.NoSuchMethodError异常解决
java.lang.NoSuchMethodError异常解决报这种错误是由于jar包冲突,首先先检查pom.xml的依赖版本是否一致,比如spark报这个错误时,由于开始spark-hive_2.11使用的和spark那边使用的版本不一致导致的。<dependency> <groupId>org.mongodb.spark</groupId> <artifactId>mongo-spark-connector_2.11</artifactId&原创 2021-07-16 16:49:31 · 1365 阅读 · 0 评论 -
windows 平台下curl使用报错: (3) [globbing] unmatched close brace/bracket in column 13
原始的curl --user solr:SolrRocks http://127.0.0.1:8899/solr/admin/authentication -H 'Content-type:application/json' -d '{"set-user": {"admin":"admin"}}'如下图报错:windows平台下改之后的:curl --user solr:SolrRocks http://127.0.0.1:8899/solr/admin/authentication -H 'C原创 2021-07-16 16:35:42 · 4395 阅读 · 0 评论 -
yum安装时常见的错误:File “/bin/yum“, line 30
错误:原因:这是因为yum采用python作为命令解释器,原来系统自带的python解释器为python2.7,然后我之前为了方便将python默认的解释器设为了python3.6,导致按python3.6解析2.7的语法出错了。解决方法:1、修改/usr/bin/yum文件中的第一行为#!/usr/bin/python2.7可能你的系统不是2.7,通过tab键补全python命令就可以看到你有哪些python版本,选一个低版本的就好。2、还要修改另一个文件vim /usr/libexec原创 2021-07-16 16:01:58 · 3001 阅读 · 0 评论