hadoop安装启动

准备工作

1、安装jdk，配置好环境变量。

2、修改主机名称

即时生效：hostname 主机名

永久生效：修改/etc/sysconfig/network，添加HOSTNAME=主机名。

3、配置hosts，注释掉localhost的host，配置所有节点的hosts(包括master)。并将hosts同步到所有节点。

4、配置ssh免登陆

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys slavehostname:~/.ssh/

进行ssh 本机host进行测试，如果无需密码登陆成功就没有问题。  

5、关闭防火墙

          即时生效：service iptables stop

          永久生效：chkconfig iptables off

hadoop安装

1、下载hadoop稳定版本。 http://mirrors.cnnic.cn/apache/hadoop/common/

2、解压hadoop

tar -zxvf hadoop-*.tar.gz

3、创建软连接

          ln -s /root/hadoop-* /usr/local/hadoop

4、配置环境变量

          vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop

export PATH=$HADOOP_HOME/bin:$PATH

export HADOOP_HOME_WARN_SUPPRESS=1

export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib

source /etc/profile

5、修改配置文件

          配置好masters、slaves

          配置hadoop-env.sh中的JAVA_HOME

          配置core-site.xml

          

<property>

  <name>fs.default.name</name>

  <value>hdfs://hadoopmaster:9000</value>

          </property>

<property>

  <name>hadoop.tmp.dir</name>

  <value>/data/tmp</value>

</property>

配置hdfs-site.xml

<property>

  <name>dfs.replication</name>

  <value>1</value>  

</property>

配置mapred-site.xml

<property>

  <name>mapred.job.tracker</name>

  <value>hadoopmaster:9001</value>

                    </property>

其他配置酌情加入。

启动hadoop

1、在主节点使用hadoop namenode -format格式化一下。

2、在主节点使用start-all.sh启动所有节点

3、使用hadoop dfsadmin -report来查看节点启动情况

后期维护

1、加入新节点，首先加入到所有机器的hosts中，然后在新节点使用如下命令。

hadoop-daemon.sh start datanode

hadoop-daemon.sh start tasktracker

然后主节点平衡磁盘利用率执行： start-balancer.sh

2、hosts、hadoop配置文件同步脚本

for host in `cat /usr/local/hadoop/conf/slaves`

do

  echo ------------------------------------------------------------------

  echo rsync host:   $host

  /usr/bin/rsync -avz /usr/local/hadoop/ $host:/usr/local/hadoop/

  /usr/bin/rsync -avz /etc/hosts $host:/etc/hosts

done