hadoop集群搭建

最新推荐文章于 2019-04-02 16:40:00 发布

黑桃K_程序猿

最新推荐文章于 2019-04-02 16:40:00 发布

阅读量410

点赞数

文章标签： hadoop集群 hadoop hdfs

本文链接：https://blog.csdn.net/kai763253075/article/details/62044148

版权

本文介绍了如何搭建Hadoop集群，包括设置JAVA_HOME环境变量和配置HADOOP_LOG_DIR日志目录，为HDFS提供基础环境。

摘要由CSDN通过智能技术生成

一、系统环境说明：
本次搭建系统一共使用3台服务器由一台主节点master和2台从节点slave组成：
后续会用master slave1 和slave2分别代表三台主机的hostname

二、 SSH无密码验证配置
Hadoop运行过程中，需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置SSH运用无密码公钥认证的形式，这样NameNode使用SSH无密码登录并启动DataName进程，同样原理，DataNode上也能使用SSH无密码登录到NameNode。

1) 测试服务前件是否可以无密码登录

ssh localhost
-如果返回” Permission denied (publickey,gssapi-keyex,gssapi-with-mic).”说明没有权限。如果进入到对应主机说明已经配置好无密码登录

2) 如果没有配置无密码登录按如下方法配置

a) 生成公钥和秘钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
b) 将公钥添加到需要访问服务器的authorkeys_keys
cat id_rsa.pub >> authorized_keys
c) 设置需要访问服务器authorized_keys权限
chmod 600 authorized_keys
3) 依次重复1)2)操作,配置服务器之间相互访问

ps:或者直接cat id_rsa.pub的内容添加到对应authorkeys_keys文件中也挺方便

三、安装JDK
文件版本jdk-8u77-linux-x64.rpm

1)rpm -ivh jdk-8u77-linux-x64.rpm
查看是否安装成功
java -version

2)##配置环境变量
修改系统环境变量文件
vi /etc/profile

i插入
向文件里面追加以下内容：

JAVA_HOME=/usr/java/jdk1.8.0_77
JRE_HOME=/usr/java/jdk1.8.0_77/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH

3)使修改生效
source /etc/profile