spark 集群配置

原创 2016年06月02日 10:45:42
2、JAVA环境配置、scala环境
3、tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz
4、cd spark/bin 
5、执行  错误异常java.net.UnknownHostException: s-238: s-238: Name or service not known
把/etc/hostname文件中的主机名加入到/etc/hosts文件中,问题解决。
6、执行/home/spark/spark-1.6.1-bin-hadoop2.6/sbin$  下面的 /start-all.sh

cloudera
集群配置:
1、cp spark-env.sh.template  spark-env.sh
2、cp slaves.template slaves
vim slaves 
s-238
s-239

vim   spark-env.sh
export SPARK_MASTER_IP=192.168.110.238



./bin/spark-submit --master spark://192.168.110.238:7077 --executor-memory 10G /home/spark/word.jar
添加mysql 
./bin/spark-submit --master spark://192.168.110.238:7077 --jars /home/spark/mysql-connector-java-6.0.2.jar --executor-memory 20G /home/spark/category.jar

版权声明:本文为博主原创文章,未经博主允许不得转载。

spark集群搭建,standalone

有写的不对的地方,欢迎各位同学评论指正,博主会进行修改。 前 言 这是博主搭建spark集群经验,不使用yarn或是Mesos,spark自身的集群环境,考虑到实际应用,过两日博主会...
  • m0_37590135
  • m0_37590135
  • 2017年07月03日 17:58
  • 153

spark学习笔记:spark独立集群模式配置及FIFO调度

将spark文件夹分发给三台slave从机:scp -r /usr/DevProgram/spark-2.2.0-bin-hadoop2.7 daya@slave1:/usr/DevProgram/;...
  • qq_31823267
  • qq_31823267
  • 2017年08月22日 17:13
  • 171

Spark 集群搭建详细步骤

Hadoop 和 Spark 集群搭建详细步骤
  • dai451954706
  • dai451954706
  • 2015年07月20日 11:52
  • 24853

spark完全分布式集群搭建

最近学习Spark,因此想把相关内容记录下来,方便他人参考,也方便自己回忆吧 spark开发环境的介绍资料很多,大同小异,很多不能一次配置成功,我以自己的实际操作过程为准,详细记录下来。 1、基本...
  • hit0803107
  • hit0803107
  • 2016年10月12日 10:56
  • 13602

spark集群配置

说明:这个集群是基于hdfs的一个三个节点的集群配置 节点:192.168.128  nl01    ---master  192.168.1.2 nl02      --slave  192....
  • vic868
  • vic868
  • 2016年05月02日 15:37
  • 199

Spark集群配置

Spark集群配置 环境:Ubuntu10.04, Hadoop 0.20.2, JDK 1.6, Spark 0.7.2, Scala 2.9.3 前置条件: 1、三台机器,这...
  • GarfieldEr007
  • GarfieldEr007
  • 2014年08月11日 18:59
  • 1733

Spark 配置整理

Spark 的配置有很多,这里一方面总结一下官方文档中的内容,一方面将网上查到的资料中用到的针对特定问题的配置整理一下。 先看一下官网的配置:http://spark.apache.org/do...
  • u013063153
  • u013063153
  • 2017年03月07日 10:58
  • 519

Spark<集群搭建Centos7.3+Spark2.1.1>

本集群搭建依赖于:VMware Workstation12 ProSecureCRT 7.3Xftp 5CentOS-7-x86_64-Everything-1611.isohadoop-2.8.0....
  • Gpwner
  • Gpwner
  • 2017年06月11日 21:24
  • 585

spark ha集群配置

spark集群 hadoop配置参见 hadoop 高可用集群搭建 su - rdato cd /u01 tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz mv spa...
  • BASEDEDATO
  • BASEDEDATO
  • 2017年08月04日 16:31
  • 151

spark集群配置错误

1.当用hdfs传文件时,出现如下错误: Call to Master:9000 failed on connection exception 解决办法:把hadoop配置文件中的hdfs-sit...
  • ASIA_kobe
  • ASIA_kobe
  • 2015年11月17日 15:17
  • 333
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark 集群配置
举报原因:
原因补充:

(最多只允许输入30个字)