![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
jester_jim
终将成佛
展开
-
在maven中hadoop、spark、streaming、mlib、hive导入包冲突,provided omitted for duplicate
出现provided omitted for duplicate的主要原因是这几个包会相互交集甚至包含的关系,意思就是一个包下面的子jar包在另外一个包中也出现。比如:spark core包和spark streaming就出现大量的重复jar包,其实streaming中可以看到其实spark core已经包含在spark streaming中了甚至包含了大量Hadoop的包,都不需要再次导入...原创 2019-08-09 12:26:05 · 1731 阅读 · 0 评论 -
scala illegal cyclic inheritance involving trait iterable
最近在学习spark的时候,编译Scala很简单的程序都会遇到这个问题,甚至能在命令行运行得好好地程序 ,拿到idea里面报了一对错,通过我在网上找,然后翻墙去谷歌,发现这其实是Scala自身的bug,换版本就能够解决,所以我试了以下,竟然真的解决了。之前我下载的是Scala-13.0。然后换了一个旧一点的版本12.5,一切运行正常。所以不管是正式投入使用还是学习,都不要用刚出来的版本,真的少...原创 2019-09-15 00:19:27 · 9477 阅读 · 0 评论 -
Scala集合,Scala序列,Scala Seq,Array,ArrayBuffer,元组Tuple,列表,List,ListBuffer,队列QueueScala数组与JavaList的互转
1、Scala集合基本介绍1.1 有关Scala集合的几个重点 Scala同时支持不可变集合和可变集合,可变集合可以安全的并发访问。 两个主要的包:不可变集合:scala.collection.immutable。可变集合:scala.collection.mutable。 Scala默认采用不可变集合,对于几乎所有的集合类,Scala都同时提供了可变和不可变的版本...原创 2019-09-22 10:41:18 · 4102 阅读 · 0 评论