hadoop(1)ssh连接与hadoop搭建

本文详细介绍了在Ubuntu 16.04上使用hadoop 2.7.3搭建单机环境的过程,包括SSH连接、环境配置、配置文件修改及启动与停止Hadoop集群的步骤,适用于初学者了解和实践Hadoop安装。
摘要由CSDN通过智能技术生成

Hadoop2.7.3单机安装配置参考http://blog.csdn.net/qjk19940101/article/details/70544197

1. 环境

Ubuntu 16.04 
vmware 
hadoop 2.7.3 
java 1.7.0_75

master:192.168.224.135 
slave1:192.168.224.131 
slave2:192.168.224.134

2. 步骤

2.1 ssh连接

1、添加 hadoop用户,并添加到sudoers

sudo adduser hadoop

sudo vim /etc/sudoers

添加如下:

# User privilege specification

root ALL=(ALL:ALL) ALL

hadoop ALL=(ALL:ALL) ALL

2切换到 hadoop用户:

su hadoop

3、修改 /etc/hostname主机名为 master

sudo vim /etc/hostname

//该步骤修改完毕之后需要进行重启系统,属于永久性修改主机名的方式

4、修改 /etc/hosts

添加如下:

# hadoop nodes ;

192.168.224.135 master

192.168.224.131 slave1

192.168.224.134 slave2

5、安装配置 java环境 

JAVA_HOME=/usr/local/java/jdk1.7.0_75

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

export JAVA_HOME

export PATH

//profile文件中关于java的环境变量
验证:java -version

6、安装 openssh-server

sudo apt-get install openssh-server

7、对于 slave1slave2可采用虚拟机clone的方法实现复制,复制主机后注意修改/etc/hostnameslave1slave2

/etc/hostname中修改的名称为永久修改的方式,修改之后需要重启系统才可以。

8、配置 master节点可通过SSH无密码访问slave1slave2节点

ssh-keygen -t rsa

//该步骤后有3个空需要填,全部为空即可

cat .ssh/id_rsa.pub >> .ssh/authorized_keys

将生成的 authorized_keys 文件复制到 slave1 和 slave2 的 .ssh目录下

scp .ssh/authorized_keys hadoop@slave1:~/.ssh

scp .ssh/authorized_keys hadoop@slave2:~/.ssh

//在该处要很注意检查一下ip地址是否与本机ip地址相符&#

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值