![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
迷路剑客
弱小和无知不是生存的障碍,傲慢才是。
展开
-
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
SparkStreaming提交任务到master时报错: Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;) 这个错误是因为打包版本中的scala-library版本号和spark集群用的scala-library版本不一致导致。 可以通过运行 ...原创 2018-10-12 14:33:10 · 1740 阅读 · 0 评论 -
Spark java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path
java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path 我用的mac,在运行spark程序时遇到此问题。我使用的相关依赖包的版本如下: <scala.version>2.11.8</scala.version> <scala.binary.version>2.11</scal...原创 2018-10-10 22:11:57 · 1086 阅读 · 0 评论 -
Spark-常见问题
Spark-常见问题 value $ is not a member of StringContext val spark = SparkSession.builder().getOrCreate() // 加上下面这句就好了 import spark.implicits._原创 2019-04-22 10:27:02 · 400 阅读 · 0 评论 -
Spark好文推荐
Spark好文推荐 0x01 概念 0x02 特性 Apache Spark 2.0重大功能介绍 0x03 应用原创 2019-04-17 15:52:06 · 370 阅读 · 0 评论 -
Spark-SparkSQLJoin
Spark-SparkSQLJoin 转载声明 本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容: SparkSQL – 有必要坐下来聊聊Join 作者:范欣欣 0x01 Join背景介绍 1.1 传统SQL与join Join是数据库查询永远绕不开的话题,传统查询SQL技术总体可以分为简单操作(过滤操作-where、排序操作-limit等),聚合操作-groupBy等以...转载 2019-04-27 23:56:14 · 596 阅读 · 0 评论 -
Spark-SparkSQLJoin
Spark-SparkSQLJoin 转载声明 本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容: SparkSQL – 有必要坐下来聊聊Join 作者:范欣欣 0x01 Join背景介绍 1.1 传统SQL与join Join是数据库查询永远绕不开的话题,传统查询SQL技术总体可以分为简单操作(过滤操作-where、排序操作-limit等),聚合操作-groupBy等以...转载 2019-04-27 23:56:14 · 220 阅读 · 0 评论 -
Spark-算子原理和区别
Spark-算子原理和区别 转载声明 本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容: spark部分:distinct去重的原理 作者:道法—自然 SQL中union和union all的区别 作者:道法—自然 repartition和coalesce的区别 作者:道法—自然 spark中makerdd和parallelize的区别 作者:道法—自然 map flatm...转载 2019-04-23 23:37:28 · 670 阅读 · 0 评论