illegal cyclic reference involving object InterfaceAudience

最新推荐文章于 2023-04-07 14:58:20 发布
最新推荐文章于 2023-04-07 14:58:20 发布
阅读量3.7k 收藏
点赞数
分类专栏： Spark hadoop 文章标签： 循环引用 illegal cyclic reference  illegal cyclic reference invo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_35045195/article/details/81667979
版权

最近开发Spark应用程序，用到了scala反射，但是却一直报错循环引用 InterfaceAudience，感觉很奇怪，后来排查错因才发现，原来FileSystem类不可以作为反射的方法的参数，一旦作为参数就会报错循环引用。具体测试代码如下所示。

package myreflect

import scala.reflect.runtime.universe._
import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.security.UserGroupInformation.HadoopConfiguration
import org.apache.hadoop.conf.Configuration

class Person(name:String,age:Int){
  def printPerson={
    println(s"${name}<-//->${age}")
  }

  def myTest(hdfs:FileSystem):Unit = {
    println(hdfs)
  }
}

object foo{
  def main(args:Array[String]):Unit ={
    val a = typeTag[Person]
    getInstance[Person](a)
  }

  def getInstance[T](t:TypeTag[T]):Unit = {
    val classSymbol = t.tpe.typeSymbol.asClass
    val mirror = runtimeMirror(getClass.getClassLoader)
    val classMirror = mirror.reflectClass(classSymbol)
    val methodConstructor = t.tpe.decl(termNames.CONSTRUCTOR).asMethod


    val methodMirror = classMirror.reflectConstructor(methodConstructor)
    val p = methodMirror("jack",12)
    val methodx = t.tpe.decl(TermName("printPerson")).asMethod
    val methody = t.tpe.decl(TermName("myTest")).asMethod

    val person1 = mirror.reflect(p)
    val methodPrint = person1.reflectMethod(methodx)
    methodPrint()

    val myTest = person1.reflectMethod(methody)
    myTest( FileSystem.get( new Configuration() ) )

  }

}

它的报错异常栈为：

jack<-//->12
Exception in thread "main" scala.reflect.internal.Symbols$CyclicReference: illegal cyclic reference involving object InterfaceAudience
    at scala.reflect.internal.Symbols$Symbol$$anonfun$info$3.apply(Symbols.scala:1523)
    at scala.reflect.internal.Symbols$Symbol$$anonfun$info$3.apply(Symbols.scala:1521)
    at scala.Function0$class.apply$mcV$sp(Function0.scala:34)
    at scala.runtime.AbstractFunction0.apply$mcV$sp(AbstractFunction0.scala:12)
    at scala.reflect.internal.Symbols$Symbol.lock(Symbols.scala:567)
    at scala.reflect.internal.Symbols$Symbol.info(Symbols.scala:1521)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anon$2.scala$reflect$runtime$SynchronizedSymbols$SynchronizedSymbol$$super$info(SynchronizedSymbols.scala:171)
	at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anonfun$info$1.apply(SynchronizedSymbols.scala:127)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anonfun$info$1.apply(SynchronizedSymbols.scala:127)
    at scala.reflect.runtime.Gil$class.gilSynchronized(Gil.scala:19)
    at scala.reflect.runtime.JavaUniverse.gilSynchronized(JavaUniverse.scala:16)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$class.gilSynchronizedIfNotThreadsafe(SynchronizedSymbols.scala:123)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anon$2.gilSynchronizedIfNotThreadsafe(SynchronizedSymbols.scala:171)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$class.info(SynchronizedSymbols.scala:127)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anon$2.info(SynchronizedSymbols.scala:171)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.scala$reflect$runtime$JavaMirrors$JavaMirror$$coreLookup$1(JavaMirrors.scala:992)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.scala$reflect$runtime$JavaMirrors$JavaMirror$$lookupClass$1(JavaMirrors.scala:998)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.scala$reflect$runtime$JavaMirrors$JavaMirror$$classToScala1(JavaMirrors.scala:1003)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$$anonfun$classToScala$1.apply(JavaMirrors.scala:980)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$$anonfun$classToScala$1.apply(JavaMirrors.scala:980)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$$anonfun$toScala$1.apply(JavaMirrors.scala:97)
    at scala.reflect.runtime.TwoWayCaches$TwoWayCache$$anonfun$toScala$1.apply(TwoWayCaches.scala:38)
    at scala.reflect.runtime.Gil$class.gilSynchronized(Gil.scala:19)
    at scala.reflect.runtime.JavaUniverse.gilSynchronized(JavaUniverse.scala:16)
    at scala.reflect.runtime.TwoWayCaches$TwoWayCache.toScala(TwoWayCaches.scala:33)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.toScala(JavaMirrors.scala:95)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.classToScala(JavaMirrors.scala:980)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$JavaAnnotationProxy.<init>(JavaMirrors.scala:163)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$JavaAnnotationProxy$.apply(JavaMirrors.scala:162)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$JavaAnnotationProxy$.apply(JavaMirrors.scala:162)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
    at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
    at scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:186)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.scala$reflect$runtime$JavaMirrors$JavaMirror$$copyAnnotations(JavaMirrors.scala:683)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$FromJavaClassCompleter.load(JavaMirrors.scala:733)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$FromJavaClassCompleter.complete(JavaMirrors.scala:744)
    at scala.reflect.internal.Symbols$Symbol.info(Symbols.scala:1535)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anon$2.scala$reflect$runtime$SynchronizedSymbols$SynchronizedSymbol$$super$info(SynchronizedSymbols.scala:171)
	at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anonfun$info$1.apply(SynchronizedSymbols.scala:127)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anonfun$info$1.apply(SynchronizedSymbols.scala:127)
    at scala.reflect.runtime.Gil$class.gilSynchronized(Gil.scala:19)
    at scala.reflect.runtime.JavaUniverse.gilSynchronized(JavaUniverse.scala:16)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$class.gilSynchronizedIfNotThreadsafe(SynchronizedSymbols.scala:123)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anon$2.gilSynchronizedIfNotThreadsafe(SynchronizedSymbols.scala:171)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$class.info(SynchronizedSymbols.scala:127)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anon$2.info(SynchronizedSymbols.scala:171)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.scala$reflect$runtime$JavaMirrors$JavaMirror$$coreLookup$1(JavaMirrors.scala:992)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.scala$reflect$runtime$JavaMirrors$JavaMirror$$lookupClass$1(JavaMirrors.scala:998)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.scala$reflect$runtime$JavaMirrors$JavaMirror$$classToScala1(JavaMirrors.scala:1003)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$$anonfun$classToScala$1.apply(JavaMirrors.scala:980)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$$anonfun$classToScala$1.apply(JavaMirrors.scala:980)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$$anonfun$toScala$1.apply(JavaMirrors.scala:97)
    at scala.reflect.runtime.TwoWayCaches$TwoWayCache$$anonfun$toScala$1.apply(TwoWayCaches.scala:38)
    at scala.reflect.runtime.Gil$class.gilSynchronized(Gil.scala:19)
    at scala.reflect.runtime.JavaUniverse.gilSynchronized(JavaUniverse.scala:16)
    at scala.reflect.runtime.TwoWayCaches$TwoWayCache.toScala(TwoWayCaches.scala:33)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.toScala(JavaMirrors.scala:95)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.classToScala(JavaMirrors.scala:980)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$JavaAnnotationProxy.<init>(JavaMirrors.scala:163)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$JavaAnnotationProxy$.apply(JavaMirrors.scala:162)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$JavaAnnotationProxy$.apply(JavaMirrors.scala:162)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
    at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
    at scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:186)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.scala$reflect$runtime$JavaMirrors$JavaMirror$$copyAnnotations(JavaMirrors.scala:683)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$FromJavaClassCompleter.load(JavaMirrors.scala:733)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$FromJavaClassCompleter.complete(JavaMirrors.scala:744)
    at scala.reflect.internal.Symbols$Symbol.info(Symbols.scala:1535)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anon$8.scala$reflect$runtime$SynchronizedSymbols$SynchronizedSymbol$$super$info(SynchronizedSymbols.scala:168)
	at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anonfun$info$1.apply(SynchronizedSymbols.scala:127)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anonfun$info$1.apply(SynchronizedSymbols.scala:127)
    at scala.reflect.runtime.Gil$class.gilSynchronized(Gil.scala:19)
    at scala.reflect.runtime.JavaUniverse.gilSynchronized(JavaUniverse.scala:16)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$class.gilSynchronizedIfNotThreadsafe(SynchronizedSymbols.scala:123)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anon$8.gilSynchronizedIfNotThreadsafe(SynchronizedSymbols.scala:168)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$class.info(SynchronizedSymbols.scala:127)
    at scala.reflect.runtime.SynchronizedSymbols$SynchronizedSymbol$$anon$8.info(SynchronizedSymbols.scala:168)
    at scala.reflect.internal.Symbols$Symbol.initialize(Symbols.scala:1680)
    at scala.reflect.internal.Symbols$Symbol.hasFlag(Symbols.scala:735)
    at scala.reflect.internal.Symbols$Symbol.hasFlag(Symbols.scala:738)
    at scala.reflect.internal.Symbols$Symbol.isDerivedValueClass(Symbols.scala:823)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.scala$reflect$runtime$JavaMirrors$JavaMirror$$isValueClassParam(JavaMirrors.scala:308)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$$anonfun$scala$reflect$runtime$JavaMirrors$JavaMirror$$mkMethodMirror$2.apply(JavaMirrors.scala:317)
	at scala.reflect.runtime.JavaMirrors$JavaMirror$$anonfun$scala$reflect$runtime$JavaMirrors$JavaMirror$$mkMethodMirror$2.apply(JavaMirrors.scala:317)
    at scala.collection.LinearSeqOptimized$class.exists(LinearSeqOptimized.scala:93)
    at scala.collection.immutable.List.exists(List.scala:84)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.existsParam$1(JavaMirrors.scala:315)
    at scala.reflect.runtime.JavaMirrors$JavaMirror.scala$reflect$runtime$JavaMirrors$JavaMirror$$mkMethodMirror(JavaMirrors.scala:317)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$JavaInstanceMirror.reflectMethod(JavaMirrors.scala:248)
    at scala.reflect.runtime.JavaMirrors$JavaMirror$JavaInstanceMirror.reflectMethod(JavaMirrors.scala:233)
    at myreflect.foo$.getInstance(foo.scala:40)
    at myreflect.foo$.main(foo.scala:21)
    at myreflect.foo.main(foo.scala)

可以看到第一行输出了，说明我写的 反射是没有错误的，仅仅是仅为把FileSystem作为了参数才开始报错的。

解决方法，我最后采用了 传参的时候传来sc:SparkContext作为参数，这样的话可以使用FileSystem.get(sc.hadoopConfiguration)方法获取FileSystem。算是绕路而行吧。

天心有情
关注
专栏目录
【唯一对的解决办法】安装好Scala之后，从cmd(同时按住win+R，再按回车进入)启动scala发生空指针异常的解决方法！！！
Penis_is_的博客
07-27 1296
【唯一对的解决办法，亲测有效，快来掌眼和亲自验证把！！！耶斯莫拉】安装好Scala之后，从cmd(同时按住win+R，再按回车进入)启动scala发生空指针异常的解决方法！！！
spark报错illegal cyclic reference involving object InterfaceAudience
weixin_43015677的博客
10-29 2662
代码中使用了两次 1.第一次使用 val fs = FileSystem.get(sparkSession.sparkContext.hadoopConfiguration) 第二次使用 2.sparkSession.sparkContext.parallelize(list) 改为下述一次生成，多次调用： va sc=sparkSession.sparkContext val fs = File...
InterfaceAudience
玉兰花秀丽
10-25 264
InterfaceAudience 类包含三个注解类型，用来被说明被他们注解的类型的潜在的使用范围（audience）。 @InterfaceAudience.Public： 对所有工程和应用可用 @InterfaceAudience.LimitedPrivate： 仅限于某些本项目的衍生外围项目 @InterfaceAudience.Private： 仅限于本项目自身 ...
spark1.5 hivecontext java_scala - 在SparkContext中调用现有的Java / Hive UDF，而不在Spark-SQL应用程序中使用HiveContext ...
weixin_39877504的博客
02-28 174
我在集群上运行Spark 1.5.0。 我想从ESRI的API中使用Hive UDF。 我可以在Spark应用程序中使用这些API但由于我的集群中存在一些问题，我无法使用HiveContext。 我想在Spark-SQL应用程序中使用Existing Hive UDF。// val sqlContext = new SQLContext(sc)// import sqlConte...
illegal cyclic inheritance involving trait Iterable val wordRDD: RDD[String] = fileRDD.flatMap(
tanxinji的博客
04-07 642
scala版本改为2.12。
【Android】错误Cyclic inheritance involving(循环继承问题)
itbird的专栏
04-06 2278
编译工程时，遇到“Cyclic inheritance involving”，翻译过来就是， 实际代码： package itbird.com.myapplication33; import android.os.Bundle; import android.support.v7.app.AppCompatActivity; import android.view.View; import android.widget.AdapterView; import android.widget.ListVi.
error reading Scala signature of org.apache.spark.sql.hive.HiveGenericUDF: illegal cyclic reference involving class InterfaceAudience"
最新发布
06-09
这个错误通常是由于类路径问题导致的。可能的原因是在编译和运行Spark应用程序时，使用的Spark版本不一致。例如，在编译应用程序时使用了Spark 2.4.5，但在运行时使用的是Spark 2.4.4。这可能会导致类路径不匹配，...
解释 illegal cyclic inheritance involving class <repeated> val kafkaPara: Map[String, Object] = Map[String, Object](
03-09
这是一个关于类之间循环继承的错误，其中涉及到了类。具体来说，可能是在类的继承关系中，某些类之间存在循环依赖，导致编译器无法正确地解析类之间的关系。而kafkaPara是一个Map类型的变量，用于存储键值对。
Java replaceAll()方法报错Illegal group reference的解决办法
09-07
然而，如果使用不当，可能会遇到`Illegal group reference`的错误。这个错误通常发生在替换字符串中包含了一个未定义的正则表达式组引用，即`$`后面跟着的数字没有对应的括号分组。 正则表达式中的括号`(`和`)`用于...
怎么改正 illegal cyclic inheritance involving class <repeated> val kafkaPara: Map[String, Object] = Map[String, Object](这个错误
03-09
可以尝试使用 trait 来解决这个问题，将共同的属性和方法抽象成 trait，然后让需要继承的类分别继承这些 trait，避免出现循环继承的情况。另外，也可以考虑重构代码，将类的继承关系进行调整，避免出现循环继承的...
Illegal self reference 枚举非法向前传递
kingf_muzl的博客
03-10 496
处理枚举非法向前传递问题
idea运行spark程序报错scalac: Error: illegal cyclic inheritance involving trait Iterable
bitmao888的博客
09-08 1087
spark的scala写的类，报错
HDFS使用API操作文件权限
阿生
08-10 5612
在使用命令行时我们可以使用命令hdfs dfs -chmod 777 /文件名 来修改文件权限。但是往往在实际应用中我们不能使用命令行。这时就要使用hadoop提供的API进行权限的控制。 Hadoop权威指南也已经很清楚的提示了权限的用法（Hadoop权限管理权威指南） 下面我就写一个小例子 public class HdfsUtils { /* * create by Li
scala的可堆叠特征
阿生
12-12 328
scala中trait可以提高代码的可重用性，假如有很多特质，并且特质中有着重复的方法，那么这是调用的是哪一个特质的方法？请看如下示例 trait T1{ println("T1 is created!") def myprint={ println("T1's my print") } } trait T2{ d
scala中extends和with的使用
热门推荐
阿生
12-11 1万+
在scala中有的时候用extends有的时候用with，到底该用什么呢？ 请看下面用例 trait Mytrait1{ def doSomething(str:String):Unit={ println(s"$str is doing") } } trait Mytrait2{ def forfun():Unit
Spark统计类StatCounter类
阿生
01-29 1132
statCounter org.apache.spark.util包中一个用于统计的类，这个类可以对一组数字进行统计追踪，可以统计他的计数，最大值，最小值，平均值，求和，以及可以合并两个追踪的结果merge。 example：统计一下不为0的数字和为0的数值的代码如下 package demo import java.text.SimpleDateFormat import java.util....
kafka消费者java.lang.NullPointerException
阿生
10-25 9365
最近写kafka程序突然发现消费者会产程空指针异常，百思不得其解于是就百度寻找解决方案。参考了一下链接网上的结论但是感觉还是不怎么样于是自己一步一步寻找根源 发现源码中这么一句代码 public Map<String, ConsumerRecords<K, V>> poll(long timeout) { return null; } 他直接返回了null指针，于是空
Verilog学习简记
min_mmax的博客
10-15 3806
这段时间，由于专业课程上的安排，学习到了verilog硬件描述语言，实际去用的时候会遇到比较多的问题，简单在这里记一下。 1.v文件编译错误 /Error: D:/mentorsim/examples/p8.v(7): (vlog-2110) Illegal reference to net “qout”./* &nbsp;&nbsp;&nbsp;出现该错误，将always模块中被赋值的信号量设定...
scala illegal cyclic inheritance involving trait Iterable val data= input.flatMap(_.split(“ “))
cbb
03-29 1577
最近在搭建flink 项目的时候 ，出现上述问题试了很多方式，已经决。在此记录下。 在项目上右键 选择 open module settings ,进行如下操作即可。 问题解决，看下效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天心有情

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值