【第22期】观点:IT 行业加班,到底有没有价值?

spark 集群配置

原创 2016年06月02日 10:45:42
1、下载 http://apache.opencas.org/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz
2、JAVA环境配置、scala环境
3、tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz
4、cd spark/bin 
5、执行  错误异常java.net.UnknownHostException: s-238: s-238: Name or service not known
把/etc/hostname文件中的主机名加入到/etc/hosts文件中,问题解决。
6、执行/home/spark/spark-1.6.1-bin-hadoop2.6/sbin$  下面的 /start-all.sh

cloudera
集群配置:
1、cp spark-env.sh.template  spark-env.sh
2、cp slaves.template slaves
vim slaves 
s-238
s-239

vim   spark-env.sh
export SPARK_MASTER_IP=192.168.110.238



./bin/spark-submit --master spark://192.168.110.238:7077 --executor-memory 10G /home/spark/word.jar
添加mysql 
./bin/spark-submit --master spark://192.168.110.238:7077 --jars /home/spark/mysql-connector-java-6.0.2.jar --executor-memory 20G /home/spark/category.jar

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

蜗龙徒行-Spark学习笔记【五】IDEA中集群运行模式的配置

IDEA中集群运行模式的配置

spark集群配置

1.安装环境说明 VMware 12 ubuntukylin-15.10-desktop-amd64 jdk1.8.0_73 scala-2.10.5 hadoop-2.6.0 spark-1.6.0...
  • pcno1
  • pcno1
  • 2016-11-22 14:43
  • 200

程序员升职加薪指南!还缺一个“证”!

CSDN出品,立即查看!

Hadoop,Spark和Cassandra集群的配置与优化

一. CentOS操作命令 硬盘,内存,CPU,操作系统,网络,用户和文件权限等,如下所示: 1. 关闭CentOS锁屏 解析:系统—>首选项—>屏幕保护程序,去掉其中的两个勾。 2. 查看C...

Spark集群配置

Spark集群配置 环境:Ubuntu10.04, Hadoop 0.20.2, JDK 1.6, Spark 0.7.2, Scala 2.9.3 前置条件: 1、三台机器,这...

spark集群上如何配置深度学习elephas框架的操作流程(shell版)

这个博客是回答 elephas解析第一篇  中评论区中的问题,我就把自己在一个自己的集群上面,把搭建深度学习框架elephas,theano,keras,tensorflow的操作流程post在这里。...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)