zookeeper笔记--配置以及和spark hbase结合使用

Spark集群基于ZooKeeper的搭建：http://www.dataguru.cn/thread-333245-1-1.html

Spark需要修改的地方：

进入spark的配置目录，参照下面代码修改spark-env.sh

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node4:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/spark"
export JAVA_HOME=/usr/local/bin/jdk1.7.0_71
#export SPARK_MASTER_IP=node4
#export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g

 

hbase+zookeeper：

不错的资料  http://blog.csdn.net/lxf310/article/details/17263337
http://my.oschina.net/hanzhankang/blog/129335

转载于:https://www.cnblogs.com/gnivor/p/4909504.html