spark
HereIcome
家里家外、戏里戏外、数学数据
展开
-
(spark)Wordcount
准备将word文档传上来原创 2018-03-01 17:22:10 · 172 阅读 · 0 评论 -
workcount中遇到的一个问题(关于版本)
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1434) ...原创 2018-03-01 17:27:07 · 345 阅读 · 0 评论 -
spark内核解密
spark内核架构schulebackendacuterdriver:(application=driver+executor)standalone是spark自带的,效率比其他的好,一个计算框架就可以了、yarn SparkContext创建的时候要有高层调度器、底层调度器、schulebackend,向master注册程序,job stage taskschulerexecuter.drive...原创 2018-03-05 17:57:30 · 248 阅读 · 0 评论