spark
如初⁰
以梦为马
展开
-
通过Maven编译Spark源代码,并生成Spark部署包
软件版本:JDK:1.8.0_131Hadoop:2.7.2Scala:2.11.12Spark:2.4.3一、下载Spark源代码https://archive.apache.org/dist/spark/spark-2.4.3/将下载好的源代码包上传到Linux目录下,并在节点上解压缩二、使用Maven编译Spark1.下载Maven安装包http:...原创 2019-05-26 08:58:26 · 1040 阅读 · 0 评论 -
编译spark2.4.3出现 Failed to execute goal org.codehaus.mojo:exec-maven-plugin
spark 2.4编译1、下载spark2.4.3源码2、安装maven3、解压spark2.4.3执行export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" ./make-distribution.sh --name hadoop2.6 --tgz -Psparkr -Phado...原创 2019-05-26 09:44:03 · 4232 阅读 · 0 评论 -
Spark—WordCount实例
前提:启动Spark集群和Spark Shell1.启动Spark集群cd spark目录sbin/start-all.sh2.启动Spark Shellcd spark目录bin/spark-shell --master spark://机器名:7077 --executor-memory 1024m --driver-memory 1024m在WordCou...原创 2019-05-26 10:42:49 · 485 阅读 · 0 评论 -
spark基本认识
一、spark认识Spark是用Scala语言进行实现,它是一种面向对象、函数式编程语言,能够像操作本地集合对象一样轻松地操作分布式数据集,Spark官网上介绍,它具有运行速度快、易用性好、通用性强和随处运行等特点。二、spark特点1)运行速度快spark在内存中对数据进行迭代计算,数据由内存读取是hadoop MapReduce的100倍。Spark是基于内存的迭代计算...原创 2019-05-23 21:43:58 · 971 阅读 · 0 评论