Linux搭建Hadoop伪分布式环境

环境准备

jdk-8u201-linux-x64.tar.gz

hadoop-3.1.2.tar.gz

 

安装jdk

机器免密通讯 

Hadoop配置

1. 解压

   tar -zxvf hadoop-3.1.2.tar.gz

   

2. 修改配置，在${HADOOP_HOME}/etc/hadoop目录下

   hadoop-env.sh 配置JAVA_HOME 

   export JAVA_HOME=/opt/tools/java/jdk1.8.0_201

   core-site.xml 

   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://192.168.80.128:9000</value>
   </property>

   hdfs-site.xml 

   <!-- 副本数量 -->
   <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
   <!-- namenode储存位置 -->
   <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:///dev/extends/hadoop/hdfs/name1,file:///dev/extends/hadoop/hdfs/name2</value>
   </property>
   <!-- datanode储存位置 -->
   <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:///dev/extends/hadoop/hdfs/data</value>
   </property>
   <!-- 辅助namenode储存位置 -->
   <property>
     <name>dfs.namenode.checkpoint.dir</name>
     <value>file:///dev/extends/hadoop/hdfs/second1,file:///dev/extends/hadoop/hdfs/second2</value>
   </property>
   <!-- 运行用IP代替主机名 -->
   <property>
     <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
     <value>false</value>
   </property>

   workers 

   192.168.80.128

    

3. 格式化namebode

   hdfs namenode -format

   备注：这里需要切换到${HADOOP_HOME}/bin目录下执行，或者配置环境变量

4. 启动HDFS，在${HADOOP_HOME}/sbin目录中

   ./start-dfs.sh

    Hadoop3.x中会出现以下错误

    

   需要指定用户，这里为root用户，在start-dfs.sh 和 stop-dfs.sh中添加以下语句 

   HDFS_NAMENODE_USER=root
   HDFS_DATANODE_USER=root
   HDFS_SECONDARYNAMENODE_USER=root
   

    

5. 测试访问 

   jps

    

    浏览器输入 http://192.168.80.128:9870，Hadoop2.x  webui端口为 50070