【Spark】
天海行者
什么都略懂一点,生活更多彩一些
展开
-
Spark安装配置
Spark是MapReduce的替代方案,而且兼容HDFS、Hive,可融入Hadoop的生态系统,以弥补MapReduce的不足。Spark 内存放不下的时候写磁盘 Shuffle的时候写磁盘,否则丢数恢复代价太大安装安装JDK 下载安装包 上传spark-安装包到Linux上 解压安装包到指定位置 tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz -...转载 2018-12-18 10:48:50 · 174 阅读 · 0 评论 -
Spark running-on-yarn
官方文档http://spark.apache.org/docs/latest/running-on-yarn.html配置安装安装hadoop:需要安装HDFS模块和YARN模块,HDFS必须安装,spark运行时要把jar包存放到HDFS上。 安装Spark:解压Spark安装程序到一台服务器上,修改spark-env.sh配置文件,spark程序将作为YARN的客户端用于提交任...转载 2018-12-18 10:53:09 · 223 阅读 · 0 评论 -
spark任务提交
提交第一个spark应用到集群中运行bin/spark-submit --master spark://node-5:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2048mb --total-executor-cores 12 examples/jars/spark-examples_2.11-2.2.0...转载 2018-12-18 16:05:04 · 376 阅读 · 0 评论