Hadoop 集群搭建（3）

hadoop基本配置。
1三台主机。
192.168.137.44 master MAC地址不同
192.168.137.45 server01 MAC地址不同
192.168.137.46 server02 MAC地址不同

1.1主机配置：
1.1.1IP地址
#vi /etc/sysconfig/network-scripts/ifcfg-eth0

重启网卡：
#service network restart
查看网卡
#ifconfig

1.1.2主机名称
#vi /etc/sysconfig/network
修改主机名为：master

1.1.3hosts 映射
#vi /etc/hosts
主机名映射验证：
 #ping master
1.1.4创建用户
#useradd 用户名

#passwd 用户名

输入两次密码

1.1.5给用户免密码root权限
#修改/etc/sudoers文件权限
#chmod 640 sudoers

修改文件/etc/sudoers

vi /etc/sudoers

在首行添加
huaqiang ALL=(root)NOPASSWD:ALL

1.1.6关闭防火墙：
关闭防火墙服务
#service iptables stop

关闭防火墙配置文件
#chkconfig iptables off

开启SSHD 服务
#service sshd start

开启sshd 配置。
#chkconfig sshd on
1.1.7使用xshell 进行远程终端登录。
使用xshell 进行登录：
必须使用普通用户。
1.1.8安装JDK
将jdk安装包拷贝到/home/huaqiang/app目录下。
修改jdk…压缩包的可执行权限
#chmod 764 jdk…

解压安装包到当前目录
#tar -zxvf jdk-7u67-linux-x64.tar.gz -C ./

配置环境变量
#sudo vi /etc/profile
在末尾添加
export JAVA_HOME=/home/huaqiang/app/jdk1.7.0_67
export PATH:$PATH:$JAVA_HOME/bin:

刷新配置文件
#source /etc/profile

1.2克隆其他主机
1.2.1克隆主要MAC地址修改
1.2.3修改IP地址，主机名，
根据上面的配置进行修改即可。

1.2.4设置SSH免密码登录
#ssh-keygen -t rsa 用以生成公钥私钥的秘钥对–》 4次回车。
可在当前用户下的.ssh 中查看两个秘钥：
复制公钥的名字。
切记：给自己也发一份公钥。
#ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.100
发送秘钥到其他两台主机的普通用户的.ssh 目录下。
你也可以将.ssh 目录发过去。

1.3安装hadoop
修改hadoop 权限
#chmod 764 haoop…
解压hadoop
#tar -zxvf ./hadoop… -C ./
配置环境变量
#SET JAVA_HONE
export JAVA_HOME=/home/huaqiang/app/jdk1.7.0_67
export HADOOP_HOME=/home/huaqiang/app/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:

1.3.1修改hadoop配置文件
1.3.2 修改hadoop-env.sh
修改jdk路径：export JAVA_HOME=/opt/modules/jdk1.7.0_67

修改 core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>

1.3.4修改hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoopdata/dfs/name</value>
</property>






<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoopdata/dfs/data</value>
</property>
<property>
	<name>fs.checkpoint.dir</name>
	<value>/home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
	<name>fs.checkpoint.edits.dir</name>
	<value>/home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
   <name>dfs.http.address</name>
   <value>master:50070</value>
   </property>
<property>
   <name>dfs.secondary.http.address</name>
   <value>server1:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

1.3.5修改mapred-site.xml文件

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>

1.3.6修改yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master </value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>

1.3.7修改slaves文件
注意:每个机器名占一行。
master
slave1
slave2

创建namenode 元数据保存目录
mkdir /home/huaqiang/hadoopdata 目录。

1.3.8格式化hadoop
hadoop namenode -format
1.3.9启动hadoop
start-all.sh

#hdfs dfs -put a.txt /

web访问端口：
http://192.168.137.100:50070