Hadoop伪分布式安装

全分布式中一般默认要配置四个site文件,伪分布式配置2个site文件

配置core-site.xml 配置文件，内容如下

core-site.xml是Hadoop的核心配置文件,可以用此文件覆盖core-default.xml中的值

<configuration>
  <!-- 用来指定默认文件系统的名称以及NameNode服务的主机和端口号
       注意:下面的mini主机名要改成你本机的实际的hostname  -->
  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mini:8020</value>
</property>


  <!-- 配置hadoop临时保存目录 
       注意:目录名和你安装的目录名要对应 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/app/hadoop/data/tmp</value>
 </property>
</configuration>

配置HDFS的对外的访问路径，并且配置hadoop临时保存目录

配置hdfs-site.xml 配置文件如下

<configuration>
  <!-- 用来指定Hadoop中每一个数据的副本数,默认都是3,但是在伪分布式中只有一个节点,所以这个值必须设置为1 -->
  <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

以上的配置，把hdfs 文件块的副本复制的数量设置1 由于在伪分布式环境中，必须设置为1

完成以上的步骤，就可以对HDFS 文件进行格式化操作，命令如下

bin/hadoop namenode -format

格式化成功之后，就可以分别启动，HDFS 的相关进程

1） 启动namenode

sbin/hadoop-daemon.sh start namenode

2)启动datanode

sbin/hadoop-daemon.sh start datanode

启动namenode 与 datanode之后，可以通过web的方式进行访问（前提必须关闭防火墙）

hadoop01:50070

注意:如果是hadoop3.X系列,则端口号不是50070 ,而是9870

上面的地址可以写为

hadoop01:9870

完成以上的操作之后，就可以通过操作HDFS 进行文件的上传并且在HDFS文件系统上对文件进行分析