CentOS 7 环境下 Hadoop-2.7.6 与HBase-1.4.4 分布式安装

本文详细介绍了在 CentOS 7 环境下,如何进行 Hadoop 2.7.6 和 HBase 1.4.4 的分布式安装。首先,配置了3台虚拟机,安装JDK1.8并进行SSH无密码登录设置。接着,安装并配置Hadoop,包括修改配置文件、分发配置及启动Hadoop集群。然后,配置HBase,包括修改配置文件、设置regionservers以及启动HBase。最后,验证了HBase的正确安装,并提供了控制台查看。
摘要由CSDN通过智能技术生成

1. 虚拟机配置

安装3个机器,机器名称分别叫CentOS Master、Slave1、Slave2(说明机器名不这么叫可以,待会用hostname命令修改也行)。

如图:

   

修改机器名:https://blog.csdn.net/summer_huan/article/details/76104611

修改这/etc/hosts文件,在文件中添加以下内容:

192.168.10.132  master

192.168.10.132 slave1

192.168.10.132 slave2

使用scp命令将hosts文件传给其他虚拟机:

# scp  /etc/hosts root@slave01:/etc/hosts

# scp  /etc/hosts root@slave02:/etc/hosts


2. 安装JDK1.8

详细过程请参考:https://blog.csdn.net/hui_2016/article/details/69941850


3. SSH配置

修改hosts文件:假设有三台机器,192.168.1.131, 192.168.1.132, 192.168.1.133,hostname分别是master, slave1, slave2

1.1          在master上生成一对公钥和密钥

dev@master:~$ ssh-keygen -t dsa -P '' -f~/.ssh/id_dsa

1.2          将公钥拷贝到自己

dev@master:~$ cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

1.3          将公钥拷贝到其他机器

dev@master:~$ scp ~/.ssh/id_dsa.pubdev@slave1:~

dev@master:~$ scp ~/.ssh/id_dsa.pubdev@slave2:~

#追加到authorized_keys

dev@master:~$ ssh slave1

dev@slave01:~$ mkdir .ssh

dev@slave01:~$ cat id_dsa.pub >>.ssh/authorized_keys

dev@slave01:~$ exit

dev@master:~$ ssh slave2

dev@slave02:~$ mkdir .ssh

dev@slave02:~$ cat id_dsa.pub >>.ssh/authorized_keys

dev@slave02:~$ exit

1.4          设置.ssh目录和authorized_keys文件的权限

在被登录的每台机器上,执行如下命令:

chmod 755 .ssh

chmod 600 ~/.ssh/authorized_keys

1.5          测试一下

#在 master执行

dev@master:~$ ssh slave1

第一次还是需要密码的,exit退出再试一次,就不需要密码了。

如果登陆不上,试试先关闭所有机器的防火墙,例如Ubuntu的命令是:

dev@slave1:~$ sudo ufw disable


4. 安装配置Hadoop

复制:

#cp <download_path>/ hadoop-2.7.6.tar.gz /opt/hadoop-2.7.6.tar.gz

解压:

# tar -zxvf hadoop-2.7.6.tar.gz

HBase包的操作类似。


1. 新建目录:


                
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值