Spark入门 - 1 搭建Hadoop分布式集群

原创 2016年07月21日 10:58:53

2016-07-25 更新:

进行到Spark安装的时候,spark-1.6.2没有对应的hadoop-2.7.2的with bin版本,因此推翻重来。

目前为hadoop-2.6.4+scala-2.10.6+spark-1.6.2-bin-hadoop2.6。

因此,如果近期搭建环境,注意三个包的版本选择搭配。官网有具体说明,请具体查阅。如果有精力,也可以使用源码等方式自行操作。

安装Ubuntu系统

不论是通过虚拟机方式还是直接在物理机上安装Ubuntu系统,网上都有丰富的教程,此处不再赘述。

为了方便起见,此处设置的机器名最好与书本的设置一致:Master、Slave1和Slave2。

配置root用户登录

这里有一步与普通教程不同。在安装好系统,重启之后,完成了相关配置。可以进行这一步,设置使用root用户登录,方便以后多个服务器相互操作。如下所示。

为了简化权限问题,需要以root用户的身份登录使用Ubuntu系统。而在默认情况下,Ubuntu没有开启root用户,这里做相关配置。在命令终端输入sudo -s命令,然后根据提示输入密码,进入root用户权限模式。

如果是Ubuntu 12.04(本人机器)和书本对应的Ubuntu 12.10,或者能够找到/etc/lightdm/目录下的lightdm.conf文件,则按照下面的方法1操作;如果该文件不存在,则按照方法2操作。

方法1:

在命令终端输入vim /etc/lightdm/lightdm.conf命令(或者在root权限下直接gedit/etc/lightdm/lightdm.conf),修改lightdm.conf的内容为:

[SeatDefaults]
greeter-session=unity-greeter
user-session=ubuntu
greeter-show-manual-login=true

即添加了一行greeter-show-manual-login=true

此处可能需要安装vim,根据提示执行sudo apt-get install vim即可。

保存文件,然后退出。在命令终端输入命令passwd root,设置管理员用户密码,最好与普通用户一致。

root@box:~# passwd root
Enter new UNIX password: 
Retype new UNIX password: 
passwd: password updated successfully
root@box:~# 

然后重启,之后登录界面会多一个Login选项,输入账号名root和密码,即可使用root账户登录。

到这里,这部分的配置结束。

方法2:

测试了一下最新的Ubuntu 16.04,发现上面的lightdm.conf文件不存在,然后按照网上的资料进行配置。

基本步骤完全一样:打开终端,输入命令sudo -s

到这里可以先通过passwd root配置管理员账号密码。

然后编辑配置文件:

gedit /usr/share/lightdm/lightdm.conf.d/50-ubuntu.conf

之后操作与上面一样,新增一行greeter-show-manual-login=true

之后重启即可。

Error found when loading /root/.profile

如果登录过程中提示:

Error found when loading /root/.profile
mesg: ttyname failed: Inappropriate ioctl for device
As result the session will not be configured correctly.
You should fix the problem as soon as feasible.

则启动系统后,提取权限到root用户,然后通过#vim /root/.profile修改/root/目录下的.profile文件,将其中的mesg n替换成tty -s && mesg n。重启系统,问题解决。

重启ubuntu,问题解决

安装JDK

参照之前的博客,按步骤来即可。

搭建另外两台Ubuntu系统并配置SSH免密码登录

之前的系统安装和JDK安装都大同小异,不在赘述。VMware下可以直接复制虚拟机,会简单很多,不过稍后需要自行修改某些配置。

简单起见,系统和JDK的配置最好保持一致,如均采用root用户登录、JDK安装目录。

配置SSH免密码登录

SSH的基本操作参照另一篇博客。配置成功即可。

Hadoop的Master和Slave结点之间的通信,以及Spark的Master和Worker结点之间的通信,都是通过SSH来完成的。为了避免以后每次通信都要输入密码,此处配置几台服务器相互SSH免密码登录。

注意下面均为在sudo -s之后的操作。

后续的3步主要目的在于将各个主机的公钥互存。每个主机都在authorized_keys文件中保存自己和其他所有主机的公钥,也就是每个主机的authorized_keys文件都是一样的。

生成公钥和私钥

在终端中输入

root@master:~# ssh-keygen -t rsa -P ''

命令,然后回车一次(如果不带-P参数,则连续回车三次),然后在/root/.ssh目录下已经生成公钥文件id_rsa.pub和私钥文件id_rsa。同样的在其他所有主机上进行相同的操作,生成各自的公钥、私钥文件。

追加公钥

追加本机公钥

将公钥id_rsa.pub追加到authorized_keys文件内(如果文件不存在则新建:touch authorized_keys):

root@master:~/.ssh# cat id_rsa.pub >> authorized_keys

此时authorized_keys文件内已经包含id_rsa.pub文件的内容了。

追加其他主机的公钥

首先将其他主机的公钥通过scp命令复制到本机。以slave1主机为例,主机IP为192.168.247.131:

root@slave1:~/.ssh# scp id_rsa.pub root@192.168.247.131:/root/.ssh/id_rsa.pub.slave1

可以通过ifconfig命令查看本机IP。

然后追加公钥:

root@master:~/.ssh# cat id_rsa.pub.slave1 >> authorized_keys

其余主机操作类似。

共享authorized_keys文件

此时主机master的authorized_keys文件已经包含了所有主机的公钥信息,也包括自己的。然后我们将master主机的authorized_keys文件复制到其余所有主机,相当于其他主机也都自己保存了所有主机的公钥。

root@master:~/.ssh# scp authorized_keys root@:192.168.247.131:/root/.ssh/authorized_keys

更换IP即可复制到其他主机。

测试SSH登录

root@master:~# ssh 192.168.247.131

安装Hadoop和搭建Hadoop分布式集群

前面的算是准备工作,这里才真正涉及到Hadoop相关配置及操作。

下面的主要任务是配置Hadoop的文件和系统的相关文件两个方面。可以单独对各台主机进行配置,内容都一样;也可以直接将master主机的配置文件通过scp命令复制到其他主机;另外,书本提到,配置服务器集群的时候,可以使用PSSH简化配置。

安装Hadoop

1、下载Hadoop

在官网下载Hadoop,选择bin版本的压缩包,如hadoop-2.7.2.tar.gz,解压后将文件夹放在/usr/local/hadoop/目录下,最终效果为:/usr/local/hadoop/hadoop-2.7.2

2、 配置hadoop-env.sh

在目录/usr/local/hadoop/hadoop-2.7.2/etc/hadoop下的文件hadoop-env.sh内配置JDK的安装信息。

显式的配置成下面这样:

# The java implementation to use.
export JAVA_HOME=/usr/lib/java/jdk1.8.0_91

3、 配置.bashrc

为了方便之后开机启动系统后可以立即使用Hadoop的bin目录下的命令,可以把Hadoop的bin目录配置到~/.bashrc文件中,修改后的配置如下:

#    . /etc/bash_completion
#fi
export JAVA_HOME=/usr/lib/java/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:/usr/local/hadoop/hadoop-2.7.2/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=${JAVA_HOME}/jre

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.2

主要为HADOOP_HOME和PATH的配置。

保存并退出。

使用source ~/.bashrc命令使配置信息生效。

使用hadoop version验证是否配置成功。

配置Hadoop分布式集群

配置主机名及IP地址

以master主机的操作为例。

1、 修改主机名。

/etc/hostname文件内只有一行,修改为想要的主机名即可。此处是为了配置Spark集群,因此命名风格规范化。此处修改成master。

root@master:~# cat /etc/hostname 
master
root@master:~#

2、 主机名和IP的对应关系

修改/etc/hosts文件,在文件内添加三台主机的名字和IP地址。最终效果如下:

root@master:~# cat /etc/hosts
127.0.0.1   localhost
127.0.1.1   Tbox
192.168.247.130 master
192.168.247.131 worker1 
192.168.247.132 worker2

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
root@master:~#

关键在于4~6行的配置。其中IP地址可以通过在终端中输入ifconfig命令查看。

如果修改后,主机名没有生效的话,重启系统再开机的时候会发现主机名已经改变。

3、 其余主机

其余两台主机的配置类似。可以手动配置,可也以复制过去。PSSH用法不熟悉,暂不介绍。

hostname文件内容不同,单独配置;hosts文件内容相同,可以直接复制。(由于上面的hosts文件内已经配置了主机名和IP的对应关系,此时可以直接以root@worker1的方式复制)

root@master:/etc# scp hosts root@worker1:/etc/

Hadoop配置

1、创建namenode和datanode目录

/usr/local/hadoop/hadoop-2.7.2目录下新建四个目录:tmp、hdfs、hdfs/data、hdfs/name。

root@master:/usr/local/hadoop/hadoop-2.7.2# mkdir tmp
//最终效果如下
.
├── bin
│   ├── ...
├── etc
│   └── hadoop
├── hdfs
│   ├── data
│   └── name
├── ...
└── tmp

2、 修改master的配置文件

下面主要修改/etc/hadoop下的core-site.xmlmapred-site.xmlhdfs-site.xml。如果没有该文件则新建,其中mapred-site.xml可以根据mapred-site.xml.template创建,即将mapred-site.xml.template复制为mapred-site.xml。

需要配置的内容为<configuration>标签内的属性。

core-site.xml:

root@master:/usr/local/hadoop/hadoop-2.7.2# cat etc/hadoop/core-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--xxx-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/hadoop-2.7.2/tmp</value>
    </property>
</configuration>
root@master:/usr/local/hadoop/hadoop-2.7.2#

mapred-site.xml:

root@master:/usr/local/hadoop/hadoop-2.7.2# cat etc/hadoop/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value>
    </property>
</configuration>
root@master:/usr/local/hadoop/hadoop-2.7.2#

hdfs-site.xml:

root@master:/usr/local/hadoop/hadoop-2.7.2# cat etc/hadoop/hdfs-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/local/hadoop/hadoop-2.7.2/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop/hadoop-2.7.2/hdfs/data</value>
    </property>
</configuration>
root@master:/usr/local/hadoop/hadoop-2.7.2#

3、 masters和slaves文件

masters:

root@master:/usr/local/hadoop/hadoop-2.7.2# cat etc/hadoop/masters 
master
root@master:/usr/local/hadoop/hadoop-2.7.2#

slaves:

root@master:/usr/local/hadoop/hadoop-2.7.2# cat etc/hadoop/slaves 
worker1
worker2
root@master:/usr/local/hadoop/hadoop-2.7.2#

配置其他主机

这部分的主要内容是重复上面的两步。

第一步的主机名和IP已经配置过了。可以按照之前的介绍独立配置或者复制过去。

第二步的Hadoop配置都是在hadoop-2.7.2目录下,因此可以考虑通过scp命令直接将整个文件夹复制到worker1和worker2。

root@master:/usr/local/hadoop# scp -r hadoop-2.7.2/ root@worker1:/usr/local/hadoop/
root@master:/usr/local/hadoop# scp -r hadoop-2.7.2/ root@worker2:/usr/local/hadoop/

最后,配置其余主机的.bashrc文件,将Hadoop目录写进.bashrc文件。也可以将master文件直接复制过去。然后source .bashrc使配置文件生效。

测试Hadoop分布式集群

1、 在master结点格式化集群的文件系统,在命令终端输入:

root@master:/usr/local/hadoop/hadoop-2.7.2# hadoop namenode -format

2、 启动Hadoop集群

进入Hadoop的sbin目录,在终端输入命令(保证其他的主机已经开启):

root@master:/usr/local/hadoop/hadoop-2.7.2/sbin# ./start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [master]
master: starting namenode, logging to /usr/local/hadoop/hadoop-2.7.2/logs/hadoop-root-namenode-master.out
worker2: starting datanode, logging to /usr/local/hadoop/hadoop-2.7.2/logs/hadoop-root-datanode-worker2.out
worker1: starting datanode, logging to /usr/local/hadoop/hadoop-2.7.2/logs/hadoop-root-datanode-worker1.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/hadoop-2.7.2/logs/hadoop-root-secondarynamenode-master.out
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/hadoop-2.7.2/logs/yarn-root-resourcemanager-master.out
worker1: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.7.2/logs/yarn-root-nodemanager-worker1.out
worker2: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.7.2/logs/yarn-root-nodemanager-worker2.out
root@master:/usr/local/hadoop/hadoop-2.7.2#

3、 通过JPS命令分别查看一下三台主机的进程信息:

master:

root@master:/usr/local/hadoop/hadoop-2.7.2/sbin# jps
4705 NameNode
5049 SecondaryNameNode
5274 Jps
5198 ResourceManager
root@master:/usr/local/hadoop/hadoop-2.7.2/sbin#

worker1:

root@worker1:~# jps
3268 DataNode
3485 NodeManager
3631 Jps
root@worker1:~#

woker2:

root@worker2:~# jps
3600 Jps
3425 NodeManager
3189 DataNode
root@worker2:~#

至此Hadoop句群构建完毕。

4、 查看master的Web控制台:

在master主机打开浏览器,查看Web控制台。网址为:http://localhost:50070或者http://localhost:50070/dfshealth.html#tab-overview
localhost-50070

5、 停止Hadoop集群

root@master:/usr/local/hadoop/hadoop-2.7.2/sbin# ./stop-all.sh 
This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
Stopping namenodes on [master]
master: stopping namenode
worker1: stopping datanode
worker2: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
stopping yarn daemons
stopping resourcemanager
worker2: stopping nodemanager
worker1: stopping nodemanager
worker2: nodemanager did not stop gracefully after 5 seconds: killing with kill -9
worker1: nodemanager did not stop gracefully after 5 seconds: killing with kill -9
no proxyserver to stop
root@master:/usr/local/hadoop/hadoop-2.7.2#

目前不清楚为什么出现最后的两句提示:nodemanager did not stop gracefully after 5 seconds: killing with kill -9,希望后面的学习过程中可以解决这个疑惑。

错误提示

1、no datanode to stop

如果在执行stop-all.sh文件的时候提示“no datanode to stop”,可以根据下面的方法排除错误。

出现该错误的原因是因为每次使用hadoop namenode -format命令格式化文件系统的时候会出现一个新的namenodeId,而在之前的格式化过程中,在我们手动创建的tmp目录下已经有了数据,只需要把每台机器上tmp文件夹、hdfs文件夹下的data和name文件夹中的内容清空即可,同时清空系统/tmp文件夹下与Hadoop相关的内容清空。

master主机和多个worker主机的上述文件夹内容都要清空。

重新格式化并重新启动集群,即可解决问题。

2、运行start-all.sh错误

在开启Hadoop集群的时候,如果提示error等问题,需要停下来,根据错误提示排除问题。比如可能要手动修改上面的hadoop-env.sh文件中的export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.7.2/etc/hadoop来排除

...
Error: Cannot find configuration directory: /etc/hadoop
Error: Cannot find configuration directory: /etc/hadoop
...

错误。

其余错误问题根据具体提示查找资料排除即可。

以上,Spark搭建的前期部分已经完成。

参考文章:

版权声明:本文为博主原创文章,如需转载,请注明地址:http://blog.csdn.net/surp2011

相关文章推荐

CDH Hadoop CM方式安装

CDH Hadoop安装 (基于Cloudera Manager半在线方式) 1 CM简介 Cloudera Manager是一个端到端的管理CDH集群的工具。它通过管理CDH集群(组件安装、服务管理...

hadoop 2.4.1集群搭建

hadoop 2.4.1集群搭建 由于目前使用2.4.1的 http://blog.csdn.net/u010967382/article/details/20380387...

Hadoop分布式集群搭建

  • 2016年06月18日 11:52
  • 7KB
  • 下载

Hadoop分布式集群搭建

Hadoop分布式集群搭建

Docker环境下Hadoop分布式集群搭建

在windows环境下,利用dockerTool box,搭建hadoop分布式集群,以便后续持续学习。整理如下:Docker环境下Hadoop分布式集群搭建...

构建Hadoop分布式集群环境

  • 2013年06月14日 22:55
  • 2.05MB
  • 下载

hadoop分布式集群搭建

参考的文章为: http://blog.csdn.net/ab198604/article/details/8250461 1)下载hadoop1.2.1源码 2)下载JDK,可以使用如下命令 ...

搭建Hadoop分布式集群

欢迎关注IT最新知识
  • Mr_zhe
  • Mr_zhe
  • 2016年11月01日 21:27
  • 48
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark入门 - 1 搭建Hadoop分布式集群
举报原因:
原因补充:

(最多只允许输入30个字)