自己动手5分钟搭建hadoop伪分布式

1. 下载并且解压hadoop-3.2.1和jdk1.8.0_161到指定目录  /opt/jdk 和hadoop

2. 目录结构如下

3. 找到并且配置hadoop环境

    

4. 修改配置文件

   etc/hadoop/core-site.xml： 核心配置文件 指定hdfs的地址

   localhost=192.168.100.133

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
   </configuration>

etc/hadoop/hdfs-site.xml：配置hdfs的备份数为1

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

2.设置无密码ssh

现在检查您是否可以在没有密码的情况下通过 ssh 连接到本地主机：

  $ ssh localhost

如果没有密码，则无法通过 ssh 连接到本地主机，请执行以下命令：

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

3.执行

以下说明是在本地运行MapReduce作业。如果要在 YARN 上执行作业，请参阅单节点上的 YARN。

1. 格式化文件系统：

     $ bin/hdfs namenode -format

   

2. 启动 NameNode 守护程序和 DataNode 守护程序：

     $ sbin/start-dfs.sh

   默认情况下启动NameNode出现错误

   

   解决方法：编辑hadoop-env.sh

   export HDFS_NAMENODE_USER="root" export HDFS_DATANODE_USER="root" export HDFS_SECONDARYNAMENODE_USER="root" export YARN_RESOURCEMANAGER_USER="root" export YARN_NODEMANAGER_USER="root"

   Hadoop守护程序日志输出被写入$HADOOP_LOG_DIR目录（默认为$HADOOP_HOME/logs）。

3. 浏览 NameNode 的 Web 界面;默认情况下，它位于：

   在windos访问 http://192.168.100.133:9870

   • 名称节点 - http://localhost:9870/ 成功运行如下

   •