【Spark】
天海行者
这个作者很懒,什么都没留下…
展开
-
Spark安装配置
Spark是MapReduce的替代方案,而且兼容HDFS、Hive,可融入Hadoop的生态系统,以弥补MapReduce的不足。 Spark 内存放不下的时候写磁盘 Shuffle的时候写磁盘,否则丢数恢复代价太大 安装 安装JDK 下载安装包 上传spark-安装包到Linux上 解压安装包到指定位置 tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz -...转载 2018-12-18 10:48:50 · 148 阅读 · 0 评论 -
Spark running-on-yarn
官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 配置安装 安装hadoop:需要安装HDFS模块和YARN模块,HDFS必须安装,spark运行时要把jar包存放到HDFS上。 安装Spark:解压Spark安装程序到一台服务器上,修改spark-env.sh配置文件,spark程序将作为YARN的客户端用于提交任...转载 2018-12-18 10:53:09 · 172 阅读 · 0 评论 -
spark任务提交
提交第一个spark应用到集群中运行 bin/spark-submit --master spark://node-5:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2048mb --total-executor-cores 12 examples/jars/spark-examples_2.11-2.2.0...转载 2018-12-18 16:05:04 · 355 阅读 · 0 评论