环境准备
jdk-8u201-linux-x64.tar.gz
hadoop-3.1.2.tar.gz
Hadoop配置
- 解压
tar -zxvf hadoop-3.1.2.tar.gz
- 修改配置,在${HADOOP_HOME}/etc/hadoop目录下
hadoop-env.sh 配置JAVA_HOME
export JAVA_HOME=/opt/tools/java/jdk1.8.0_201
core-site.xml
<property> <name>fs.defaultFS</name> <value>hdfs://192.168.80.128:9000</value> </property>
hdfs-site.xml
<!-- 副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> <!-- namenode储存位置 --> <property> <name>dfs.namenode.name.dir</name> <value>file:///dev/extends/hadoop/hdfs/name1,file:///dev/extends/hadoop/hdfs/name2</value> </property> <!-- datanode储存位置 --> <property> <name>dfs.datanode.data.dir</name> <value>file:///dev/extends/hadoop/hdfs/data</value> </property> <!-- 辅助namenode储存位置 --> <property> <name>dfs.namenode.checkpoint.dir</name> <value>file:///dev/extends/hadoop/hdfs/second1,file:///dev/extends/hadoop/hdfs/second2</value> </property> <!-- 运行用IP代替主机名 --> <property> <name>dfs.namenode.datanode.registration.ip-hostname-check</name> <value>false</value> </property>
workers
192.168.80.128
- 格式化namebode
hdfs namenode -format
备注:这里需要切换到${HADOOP_HOME}/bin目录下执行,或者配置环境变量
- 启动HDFS,在${HADOOP_HOME}/sbin目录中
./start-dfs.sh
Hadoop3.x中会出现以下错误
需要指定用户,这里为root用户,在start-dfs.sh 和 stop-dfs.sh中添加以下语句
HDFS_NAMENODE_USER=root HDFS_DATANODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
- 测试访问
jps
浏览器输入 http://192.168.80.128:9870,Hadoop2.x webui端口为 50070