spark
小狼躲藏
专注于数据仓库、治理、数据分析领域
展开
-
Spark 之 简单介绍
一个spark用户程序主要包含一个驱动程序, 该驱动程序执行用户的main函数并将各种算子分布到集群中并运行.原创 2015-05-20 09:09:39 · 422 阅读 · 0 评论 -
IDEA Spark 程序报错: NoClassDefFound : Scala/xml/metadata
错误现象:原创 2016-12-28 10:29:37 · 2259 阅读 · 1 评论 -
Spark1.6.2 源码编译
步骤1: 源码下载地址: http://spark.apache.org/downloads.html 下载1.6.2 版本源码 tar 包. 步骤二: 解压 tar 包, 进入,执行如下命令: export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512m" mvn -Pyarn -Dhad原创 2017-01-18 15:31:45 · 552 阅读 · 0 评论 -
Spark 异常集锦
1. Spark 2. Spark Streaming 2.1 No output streams registered, so nothing to execute 异常原因: 没有触发 DStream需要的 action 解决方法: 使用以下方法之一触发: print() foreachRDD() saveAsObjectFiles() saveAsTextFiles原创 2017-01-22 18:17:39 · 402 阅读 · 0 评论