![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
philpy_used
这个作者很懒,什么都没留下…
展开
-
Spark HA 搭建
修改spark-env.sh配置文件export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=centos01:2181,centos02:2181,centos03:2181 -Dspark.deploy.zookeeper.dir=/spark"spark.deploy.zookeeper.url:指定ZooKeeper集群各节点的主机名与端口spark.原创 2021-04-02 14:45:32 · 208 阅读 · 0 评论 -
Spark On YARN 模式的搭建
修改spark-env.sh配置文件export HADOOP_HOME=/opt/modules/hadoop-2.8.2export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop测试运行Spark应用程序测试运行Spark自带的求圆周率的例子:(提前启动HDFS和YARN)bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster原创 2021-04-02 11:37:26 · 158 阅读 · 0 评论 -
Spark Standalone 模式搭建
上传并解压安装包将spark-2.4.0-bin-hadoop2.7.tgz上传到centos01节点的/opt/softwares目录,然后进入该目录,执行以下命令,将其解压到/opt/modules中:tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /opt/modules修改配置文件修改slaves文件执行以下命令,复制slaves.template文件为slaves文件:cp slaves.template slaves然后修改slaves文件原创 2021-04-02 11:04:56 · 202 阅读 · 0 评论