hadoop分布式的配置

hadoop分布式的配置

分析：

  >>准备3台以上机器(每台机器时间一致,相差30秒以内)
  >> 安装jdk
  >>配置环境变量
  >>防火墙暂时关闭
  >>安装hadoop
  >>配置环境变量
  >>编辑hadoop配置文件
  >>设置sshd免密码登陆
  >>格式化HDFS
  >>在主节点上启动 start-dfs.sh

1.必须有JDK1.7,并且JDK的环境变量必须配置好

安装jdk
rpm -ivh jdk-7u79-linux-x64.rpm
配置环境变量：vi ~/.bash_profile
在文件的最后添加：
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bash_profile

2.关闭防火墙

service iptables stop
chkconfig iptables off

3.安装hadoop,环境变量配置好,编辑Hadoop配置文件

1.上传tar，并且解压。并且配置hadoop的环境变量
a) tar -zxvf hadoop-2.5.2.tar.gz
export HADOOP_HOME=/root/hadoop-2.5.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
2.编辑hadoop配置文件：hadoop-env.sh， core-site.xml， hdfs-site.xml，
Sleves。 所有的配置文件在/root/hadoop-2.5.2/etc/hadoop目录中
Hadoop-env.sh
更改第25行

export JAVA_HOME=/usr/java/default
-------------------core-site.xml配置-------------------
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node5:9000</value> 表示namenode的主机名
    </property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop</value>
</property>

----------------Hdfs-site.xml 配置------------------
<property>
<name>dfs.namenode.secondary.http-address</name> 配置SN的主机名
<value>node6:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>node6:50091</value>
</property>

------------------Slaves 配置---------------
所有datanode的主机名
node1
node2
node3

4.设置sshd免密码登陆和拷贝文件

1.设置sshd免密码登陆。
a) 找一台主节点：启动服务。
i. 执行命令生成密钥。ssh-keygen
ii. 拷贝主节点的公钥到所有节点中去。
. ssh-copy-id -i id_rsa.pub root@node2
2.拷贝文件：hosts，bash_profile hadoop目录
a) scp /etc/hosts root@hadoop2:/etc/
b) scp ~/.bash_profile root@hadoop2:~
c) scp -r /root/hadoop-2.5.2 root@hadoop2:~

5.格式化HDFS

格式化HDFS: hdfs namenode –format 必须在主节点上

6.在主节点上启动 start-dfs.sh

在主节点上启动 start-dfs.sh