准备工作
1、安装jdk,配置好环境变量。2、修改主机名称
即时生效:hostname 主机名永久生效:修改/etc/sysconfig/network,添加HOSTNAME=主机名。3、配置hosts,注释掉localhost的host,配置所有节点的hosts(包括master)。并将hosts同步到所有节点。4、配置ssh免登陆
5、关闭防火墙ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keysscp ~/.ssh/authorized_keys slavehostname:~/.ssh/进行ssh 本机host进行测试,如果无需密码登陆成功就没有问题。
即时生效:service iptables stop
永久生效:chkconfig iptables off
hadoop安装
1、下载hadoop稳定版本。 http://mirrors.cnnic.cn/apache/hadoop/common/2、解压hadoop
tar -zxvf hadoop-*.tar.gz3、创建软连接
ln -s /root/hadoop-* /usr/local/hadoop
4、配置环境变量
vim /etc/profile
export HADOOP_HOME=/usr/local/hadoopexport PATH=$HADOOP_HOME/bin:$PATHexport HADOOP_HOME_WARN_SUPPRESS=1export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
source /etc/profile5、修改配置文件
配置好masters、slaves
配置hadoop-env.sh中的JAVA_HOME
配置core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://hadoopmaster:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/tmp</value>
</property></property>
配置hdfs-site.xml
<property><name>dfs.replication</name><value>1</value></property>
配置mapred-site.xml
<property><name>mapred.job.tracker</name><value>hadoopmaster:9001</value>
启动hadoop
其他配置酌情加入。
1、在主节点使用hadoop namenode -format格式化一下。
2、在主节点使用start-all.sh启动所有节点
3、使用hadoop dfsadmin -report来查看节点启动情况
后期维护
1、加入新节点,首先加入到所有机器的hosts中,然后在新节点使用如下命令。
2、hosts、hadoop配置文件同步脚本hadoop-daemon.sh start datanodehadoop-daemon.sh start tasktracker
然后主节点平衡磁盘利用率执行: start-balancer.sh
for host in `cat /usr/local/hadoop/conf/slaves`doecho ------------------------------------------------------------------echo rsync host: $host/usr/bin/rsync -avz /usr/local/hadoop/ $host:/usr/local/hadoop//usr/bin/rsync -avz /etc/hosts $host:/etc/hostsdone