spark 集群配置

原创 2016年06月02日 10:45:42
1、下载 http://apache.opencas.org/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz
2、JAVA环境配置、scala环境
3、tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz
4、cd spark/bin 
5、执行  错误异常java.net.UnknownHostException: s-238: s-238: Name or service not known
把/etc/hostname文件中的主机名加入到/etc/hosts文件中,问题解决。
6、执行/home/spark/spark-1.6.1-bin-hadoop2.6/sbin$  下面的 /start-all.sh

cloudera
集群配置:
1、cp spark-env.sh.template  spark-env.sh
2、cp slaves.template slaves
vim slaves 
s-238
s-239

vim   spark-env.sh
export SPARK_MASTER_IP=192.168.110.238



./bin/spark-submit --master spark://192.168.110.238:7077 --executor-memory 10G /home/spark/word.jar
添加mysql 
./bin/spark-submit --master spark://192.168.110.238:7077 --jars /home/spark/mysql-connector-java-6.0.2.jar --executor-memory 20G /home/spark/category.jar

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

基于docker搭建跨主机的spark集群并配置notebook(二)

上一篇文章制作好了docker镜像,现在在两台服务器上部署spark集群 宿主机1IP:192.168.0.21 ;宿主机2IP:192.168.0.30 (一)在宿主机安装weave,使不同宿主机的...
  • iluoi
  • iluoi
  • 2017年03月06日 15:31
  • 370

配置Oracle VM VirtualBox,实现内外网访问笔记,以进行spark、hadoop集群开发测试

许久不用,忘记,免得再忘,特记之。全局设置 主节点设置: 从节点设置:启动hadoop、spark:从节点1启动情况:从节点2启动情况:...

spark集群环境配置

项目中实现的spark集群环境配置: 一、当前环境 1. 服务器IP:192.168.101.41 ~46    用户名:root      密码:zcah%2016 2. 服务器...

蜗龙徒行-Spark学习笔记【五】IDEA中集群运行模式的配置

IDEA中集群运行模式的配置

Spark 分布式集群配置示例

本文概述: Hadoop 2.6.5 版本, 需要事先配置好Hadoop的分布式集群环境 如果没有配置好Hadoop的分布式集群环境,请点击查看 Hadoop分布式集群安装配置教程 spark 版本...

spark集群安装与配置

本文介绍的是Spark on Yarn的安装与配置,在安装Spark之前需要安装Hadoop2.0以及以上版本,本例是在Hadoop2.2.0平台搭建,集群中有两个节点。...

配置Spark standalone集群启动

前言 想在本地提交spark程序,在网上找了一些文章。在本地提交的前提就是,spark以集群的方式启动。于是想以简单的standalone方式启动,但在启动的时候遇到了一些问题,下面把过程和问题总...
  • hotdust
  • hotdust
  • 2017年03月12日 01:51
  • 849

Spark集群master节点实现HA配置

Spark集群master节点实现HA配置,standalone模式的Spark集群构架为master-slave的架构,master可以实现类似HDFS2.0之后基于Zookeeper的HA,主备切...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark 集群配置
举报原因:
原因补充:

(最多只允许输入30个字)