Spark
上岸の鱼
站在巨人的肩膀上,心怀敬畏,谦卑。这个行业技术更迭非常快,需要坚持持续学习的状态,希望到70岁还能敲得动代码。
展开
-
spark任务运行及jar包
spark的jar包没必要把所有相关的依赖都打进一个jar包中,因为这样会把spark、hadoop本身相关的jar包也打进去,但是这些依赖在用spark-submit命令运行时,会自动加载部署环境中已有的。 /opt/cloudera/parcels/CDH/bin/spark-submit \ --class "cn.icarevision.its007.upgrade.EsInde原创 2016-10-26 11:38:23 · 2514 阅读 · 1 评论 -
spark与scala jar包版本冲突问题
例如spark1.6.0是基于scala2.10.x的,如果用intellj创建基于scala2.11.x的项目,打包出来的jar包,用spark-submit运行spark任务时,会遇到NoSuchMethodError:scala.Predef$.ArrowAssoc异常。 例如代码里有下面这样的Map代码, val numbers = Map("one" -> 1, "two" -原创 2016-10-26 11:44:03 · 6075 阅读 · 0 评论