hadoop完全分布式搭建

hadoop完全分布式搭建（Centos6.5）

完全分布式搭建需要至少三个节点
下面的配置必须在三个节点上都得配置
这里只说明一台的配置

1、ip配置
进入root用户
vim /etc/sysconfig/network-scripts/ifcfg-eth0
配置本主机的IP地址

IPADDR=192.168.25.128  #IP地址
GATEWAY=192.68.25.2    #网关
NETMASK=255.255.255.0  #子网掩码
DNS1=114.114.114.114   #域名服务器
DNS2=8.8.8.8           #域名服务器

2、配置主机名
进入root用户
vim /etc/sysconfig/network

HOSTNAME=hadoop01

3、主机映射
vi /etc/hosts

192.168.25.128 hadoop01
192.168.25.129 hadoop02
192.168.25.130 hadoop03

4、关闭防火墙和selinux
service iptables stop #关闭防火墙
vi /etc/selinux/config
找到相应位置更改 SLEINUX=disabled

5、创建普通用户（完全分布式 各个节点的安装的普通用户名必须相同 密码也得相同）
创建用户 useradd 用户名
passwd 用户名
为用户名添加权限 vi /etc/sudoers
例：
useradd hadoop
passwd hadoop 123
打开
vi /etc/sudoers
在 root ALL=(ALL) ALL下面
添加

 hadoop  ALL=(ALL)      ALL

注：以上操作均在root用户下操作
6、配置免密码登录
1)生成秘钥
切换用户 su - hadoop
ssh-keygen
2)发送秘钥 ssh-copy-id hadoop
3)验证 ssh hadoop 每个节点都要验证
7、安装jdk
8、时间同步
1)不能联网的时候 手动指定 data -s 时间 或者手动搭建一个时间服务器
2）能联网的时候 找一个公网中功用的时间服务器，所有节点的时间和公网中的时间服务器保持一致
ntpdate 公网时间服务器的地址
ntpdate ntp1.aliyun.com
9、安装hadoop
1)不选陈旧版本也不选太新版本
上传hadoop安装包
解压安装包
配置环境变量
修改配置文件
6个配置文件
集群规划
hdfs yarn
hadoop01 namenode datanode nodemanager
hadoop02 datanode secondarynode nodemanager
hadoop03

core-site.xml
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop01:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/data/hadoopdata</value>
</property>

hdfs-site.xml
<property>
   <name>dfs.namenode.name.dir</name>
   <value>/home/hadoop/data/hadoopdata/name</value>
  <description>为了保证元数据的安全一般配置多个不同目录</description>
</property>
<property>
   <name>dfs.datanode.name.dir</name>
   <value>/home/hadoop/data/hadoopdata/data</value>
   <description>datanode 的数据存储目录</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
   <description>HDFS的数据块的副本存储个数</description>
</property>
<property>
   <name>dfs.secondary.http.address</name>
   <value>hadoop02:50090</value>
   <description>secondarynamenode 运行节点的信息，和namenode不同节点</description>
</property>


yarn-site.xml
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>hadoop03</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
   <description>YARN 集群为MapReduce 程序提供的shuffle服务</description>
</property>

mapred-site.xml
<property>
   <name>maperduce.framework.name</name>
   <value>yarn</value>
</property>