Hadoop集群搭建(hadoop+zookeeper+hbase)Ubuntu14.04

本文详细介绍了如何在Ubuntu14.04上搭建Hadoop集群,包括创建hadoop用户、修改主机名称、配置静态IP、配置SSH无密码登录、安装与配置JDK、安装Hadoop、配置Hadoop相关参数、安装Zookeeper以及安装HBase。此外,还提到了启动顺序和相关命令集合。
摘要由CSDN通过智能技术生成

注:先下载如下安装包(方便):

一、准备工作

装好了Ubuntu系统之后,在安装Hadoop前还需要做一些必备工作。

1.创建hadoop用户

如果你安装 Ubuntu 的时候不是用的 hadoop 用户,那么最好增加一个名为 hadoop 的用户,密码随意指定。首先打开终端,输入如下命令创建新用户 :

$ sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为shell。

接着使用如下命令修改密码,按提示输入两次密码

$ sudo passwd hadoop

可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:

$ sudo adduser hadoop sudo

 完整的运行情况如下:

master@ubuntu:~$ sudo useradd -m hadoop -s /bin/bash
[sudo] password for master:        
master@ubuntu:~$ sudo passwd hadoop
Enter new UNIX password: 
Retype new UNIX password: 
passwd: password updated successfully
master@ubuntu:~$ sudo adduser hadoop sudo
[sudo] password for master: 
Adding user `hadoop' to group `sudo' ...
Adding user hadoop to group sudo
Done.

 

2.修改机器名称

主机的 /etc/hostname 中,修改机器名为master,将其他主机命令为slave1、slave2等。接着在 /etc/hosts 中,把所有集群的主机信息都写进去。

hadoop@ubuntu:~$ sudo vim /etc/hostname
hadoop@ubuntu:~$ sudo vim /etc/hosts
 
127.0.0.1        localhost
172.16.1.43     master
172.16.1.44     node1
172.16.1.45    node2

配置好后可以在各个主机上执行ping Master和ping Slave1测试一下,看是否相互ping得通。

3.配置内网静态ip地址

sudo vim /etc/network/interface

加上如下内容:

auto eth0

iface eth0 inet static

address 172.16.1.43   //IP地址需要改,其他的不能改

gateway 172.16.1.254

netmask 255.255.255.0

完成后,最好重启一下,才能看到IP地址和主机名的变化

(IP地址配置好后就可以使用putty客户端了,不需要在浏览器端了)

4.查看时间,每台机器的时间间隔最好不要超过30s

查看时间:date

修改时间:date –s “2017-01-17 09:30:00”

修改时间后要写入cmos硬件中,切换到超级管理员 sudo su root,

时间同步 hwclock –systohc    , 退出超级管理员 su hadoop

 

二、配置SSH Server无密码登录

1.安装系统时可以选择安装open ssh,或者自己用安装包安装

$ sudo apt-get install openssh-server

2. 安装后,可以使用如下命令登陆本机(必做):

$ ssh localhost

这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。

3. (1)配置一台机器自身无密码登录:首先退出刚才的 ssh,就回到了我们原先的终端窗口,先cd进入.ssh目录,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

cd ~/.ssh/         
ssh-keygen -t rsa             
cat id_rsa.pub >> authorized_keys 

再次使用ssh localhost登录就不需要输入密码了

(2)配置多台机器之间的互相无密码登录

先在第一台机器生成公钥和密钥,把公钥发给第二台机器,第二台机器加入到 .ssh目录的authorized_keys文件中,然后把authorized_keys发给第三台机器,第三台机器把它自己的公钥也加入autho

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值