hadoop集群搭建与使用

1. 技术介绍：hadoop框架分为2部分，第一部分是hdfs分布式文件系统，系统又分为namenode和datanode。namenode作为数据索引查找分片的数据，datanode作为存储数据的节点。第二部分是yarn资源调度系统，系统又分为resourceManager和nodeManager。resourceManager作为资源调度节点管理其他nodeManager，让其运行各个任务。

 目标：搭建一个Hadoop集群并进行数据处理

 2、安装配置vm

vm配置教程见一下连接：

(9条消息) VMware安装虚拟机（小白看了都会哦）_vmware虚拟机_小张妙妙屋的博客-CSDN博客

不关闭防火墙后续访问不了页面的dfs系统：

#关闭防火墙service iptables stop      或者 systemctl stop firewalld

#关闭防火墙开机启动chkconfig iptables off  或者   systemctl disable firewalld

3、配置主机名

vim /etc/hosts

添加如下几行

192.168.47.128 haitong-1

192.168.47.129 haitong-2

192.168.47.130 haitong-3

修改hostname---修改后reboot服务器，通过hostname指令可以看到发生了改变

vim /etc/sysconfig/network

对三台台电脑分别添加

HOSTNAME=haitong-1

HOSTNAME=haitong-2

HOSTNAME=haitong-3

互相ping通即为成功

ping haitong-1

ping haitong-2

最好将ip静态化处理，避免后面踩坑，处理方式见后面的常见问题及解决方案部分的内容

配置完后，reboot 重启三台机器

4、免密码登录（应该以普通用户hadoop登录执行以下命令实现免密登录，但是实操中没成功，以root用户能成功免密）

在haigotng-1  里面执行   ssh-keygen

在当前路径的.ssh生成公私钥

haitong-1 里面执行   

ssh-copy-id 192.168.47.129  把公钥给haitong-2

ssh-copy-id 192.168.47.130  把公钥给haitong-3

注意：登录后一定要记得 exit命令退回来

-

------------------------------------------

我的lunix系统是centos的，网上有另一种免密登录方式跟上面的不太一样，应该是针对ubantu的免密方式，如下：

haitong-1 里面执行：

 ssh-keygen -t rsa

一路回车，最终生成id_rsa,id_rsa.pub两个文件

把is_rsa.pub(公钥)追加到 authorized_ke