Ubuntu上搭建hadoop和spark集群

原创 2015年08月10日 10:38:33

在Ubuntu上搭建hadoop和spark集群,1台master(namenode),3台slave(datanode)


1. 安装Java

sudo mkdir /usr/local/java/
sudo tar xvf jdk-7u79-linux-x64.tgz -C /usr/local/java/

2. 安装scala

$ sudo mkdir /usr/local/src/scala
$ sudo tar xvf scala-2.10.5.tgz -C /usr/local/src/scala/

3. 安装hadoop

sudo mkdir /usr/local/hadoop
sudo tar xvf hadoop-2.7.1.tar.gz -C /usr/local/hadoop/

4. 安装spark

Spark runs on Java 6+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.4.1 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).
sudo mkdir /usr/local/spark
sudo tar xvf spark-1.4.1-bin-hadoop2.6.tgz -C /usr/local/spark/

5. 添加环境路径

# config /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export SCALA_HOME=/usr/local/scala/scala-2.10.5
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export HADOOP_HOME=/usr/local/hadoop
export SPARK_HOME=/usr/local/spark/spark-1.4.1-bin-hadoop2.6
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin


------------------------------

source /etc/profile

6. 创建hadoop用户,从master发布到slave


sudo chown -R hadoop:hadoop hadoop
sudo chown -R hadoop:hadoop spark
sudo chown -R hadoop:hadoop scala

sudo scp -r /usr/local/hadoop hadoop@slave1:~/
sudo mv ~/hadoop /usr/local/

sudo scp -r /usr/local/scala hadoop@slave1:~/
sudo mv ~/scala /usr/local/

sudo scp -r /usr/local/spark hadoop@slave1:~/
sudo mv ~/spark /usr/local/


7. 配置hadoop



fs.defaultFShdfs://master_ip:9000dfs.name.dir/usr/local/hadoop/datalog1dfs.data.dir/usr/local/hadoop/data1dfs.replication3mapred.job.trackermaster:9001

# The java implementation to use.
export JAVA_HOME=/usr/local/java/jdk1.7.0_79

8.  配置spark

# /usr/local/spark/spark-1.4.1-bin-hadoop2.6/conf/spark-env.sh

#jdk
export JAVA_HOME=/usr/local/java/jdk1.7.0_79

#scala
export SCALA_HOME=/usr/local/scala/scala-2.10.5

#spark master ip
export SPARK_MASTER_IP=192.168.1.1

export SPARK_WORKER_MEMORY=2g
#hadoop config folder
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

# /usr/local/spark/spark-1.4.1-bin-hadoop2.6/conf/slaves
master
slave1
slave2
slave3

# 



jstl标签在MyEclipse中的jsp页面使用报错

![图片说明](http://img.ask.csdn.net/upload/201709/18/1505737851_298591.png)

从手工打造到工厂设计模式的演变历程

前不久,在写工厂设计模式时,我还是期望用一个例子来阐述它的原理和应用。可是,当我写完之后才发现:单凭一个示例很难梳理出工厂模式。换句话说,就是[之前的套路](http://blog.csdn.net/...

Spark-1.6.1 Hadoop-2.6.4 VMware Ubuntu 分布式集群搭建 全过程

部分内容参考Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04本文从头开始零基础完全配置,适合小白。 本文在vmware中配置三台虚拟机,一台做Master,两...

Hadoop+Spark+R+SparkR集群环境搭建

  • 2017年11月15日 10:19
  • 230KB
  • 下载

Ubuntu1604安装ganglia并监控Hadoop/HBase/Spark集群

ganglia的官方文档没找到,试了很多教程,终于配置成功,不过还有一点小问题没有解决安装依赖软件apache,php,rrdtoolganglia需要使用apache服务,rrd服务,php服务,这...

Ubuntu Hadoop Spark集群

一、安装jdk 二、安装scala 三、安装ssh 四、安装hadoop 五、安装spark

Hadoop及Spark集群搭建文档

  • 2016年05月15日 21:00
  • 149KB
  • 下载

Hadoop2.7与Spark1.6的集群搭建

机器说明:四台ubuntu系统的电脑,选取其中一台作为master,其余三台作为slaves。      写在开头的两个坑:      1.虽然Linux支持一些特殊字符,但java里面并不支持。所以...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Ubuntu上搭建hadoop和spark集群
举报原因:
原因补充:

(最多只允许输入30个字)