Hadoop部署流程

Hadoop部署流程

一、版本号

2.6.5

二、安装目录

/mnt/Hadoop/Hadoop-2.6.5

三、先决条件

Java环境正常运行

四、部署步骤

4.1. 编辑/mnt/hadoop/hadoop-2.6.5/etc/hadoop/hadoop_env.sh

#配置JAVA_HOME
export JAVA_HOME=/mnt/jdk/jdk1.7.0_80
export HADOOP_HOME=/mnt/hadoop/hadoop-2.6.5
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

4.3. 编辑/mnt/hadoop/hadoop-2.6.5/etc/hadoop/core-site.xml
配置Hadoop的临时目录、主机名和端口号等参数

说明：通过hostname可查看主机名

4.4. 编辑/mnt/hadoop/hadoop-2.6.5/etc/hadoop/hdfs-site.xml
配置HDFS的备份模式、命名节点和数据节点等参数

4.5. 格式化HDFS

shell>/mnt/hadoop/hadoop-2.6.5/bin/hadoop namenode -format

5、 操作
5.1. 启动HDFS

shell>/mnt/hadoop/hadoop-2.6.5/sbin/start-dfs.sh

5.2. 验证启动

shell>lsof -i tcp:9000
shell>lsof -i tcp:50070

5.3. 停止HDFS

shell>/mnt/hadoop/hadoop-2.6.5/sbin/stop-dfs.sh