hadoop集群搭建

1.配置Linux环境
1.1选择Host-only方式
1.2修改Linux的IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
文件内容如下
DEVICE="eth0"
BOOTPROTO="static"              #设置IP属性为静态
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.8.119"          #IP地址
NETMASK="255.255.255.0"         #子网掩码
GATEWAY="192.168.8.1"           #网关

//在桥接的方式下要配DNS,本地使用的是host-only方式，所以不需要配DNS
DNS1=”8.8.8.8”
DNS2=”8.8.4.4”

1.3修改主机名
vim /etc/sysconfig/network
添加如下:
HOSTNAME=hadoop(主机名称)
1.4配置主机名和IP的映射关系（不修改会发生访问主机名称但是不能连接的问题，要做到主机名称和IP地址对应的映射关系）
vim /etc/hosts
如:
192.168.8.119 itcast

1.5关闭防火墙
service iptables status
service iptables stop

设置防火墙开机不启动
chkconfig iptables --list
chkconfig iptables off

重启系统：reboot命令


2.安装JDK
2.1上传JDK
将jdk剪切到 mv  jdk  /usr/local
2.2添加执行权限
chmod u+x jdk-6u45-linux-i586.bin
2.3解压
./jdk-6u45-linux-i586.bin
2.4配置环境变量
vim /etc/profile

在文件下方添加如下代码:
export JAVA_HOME=/usr/local/jdk1.6.0_45
export PATH=$PATH:$JAVA_HOME/bin

2.5刷新配置
配置文件修改完要进行刷新生效：source /etc/profile

4.安装配置hadoop集群
4.1上传hadoop压缩包

4.2解压
在根目录下创建文件夹cloud: mkdir /cloud
tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/
4.3配置hadoop（需要修改6个配置文件）
第一个：hadoop-env.sh 
export JAVA_HOME=/usr/java/jdk1.6.0_45

第二个：core-site.xml
<!-- 指定HDFS的namenode的通信地址 -->
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/cloud/hadoop-1.1.2/tmp</value>
</property>

第三个：hdfs-site.xml
<!-- 配置HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

第四个：mapred-site.xml
<!-- 指定jobtracker地址 -->
<property>
<name>mapred.job.tracker</name>
<value>hadoop02:9001</value>
</property>

第五个：masters(指定secondarynamenode地址)
hadoop02

第六个：slaves（DataNode和TaskTracker服务器地址）
hadoop03
hadoop04

4.4将配置好的hadoop拷贝到其他节点
scp -r /cloud/ hadoop02:/
scp /etc/hosts hadoop02:/etc
scp /etc/profile hadoop02:/etc

scp -r /cloud/ hadoop03:/
scp /etc/hosts hadoop03:/etc

scp /etc/profile hadoop03:/etc

scp -r /cloud/ hadoop04:/
scp /etc/hosts hadoop04:/etc
scp /etc/profile hadoop04:/etc

4.5配置ssh免登
是hadoop01到hadoop02、hadoop03的免登
ssh-keygen -t rsa（在hadoop01上生成即可）

ssh-copy-id -i hadoop01
ssh-copy-id -i hadoop02
ssh-copy-id -i hadoop03
ssh-copy-id -i hadoop04

4.6仅在hadoop01上格式化hadoop
hadoop namenode -format

4.7分别启动HDFS和MapReduce

start-dfs.sh

start-mapred.sh

使用jps命令查看每台机器中的工作进程是否正确，到此Hadoop集群搭建完成。