Hadoop伪分布式 启动HDFS&YARN运行MapReduce

伪分布式

服务器配置按照完全分布式进行配置，但是只有一台服务器，所以是伪分布式
配置/opt/module/hadoop-2.7.7/etc/hadoop目录下的文件，就是对hadoop进行配置

1 启动HDFS并运行MapReduce

1.1 配置

配置hadoop-env.sh

Linux系统中获取JDK安装路径

[root@hadoop101 /]$ echo $JAVA_HOME
/opt/module/jdk1.8.0_191

进行分布式系统一定要配置JAVA_HOME否则远程访问出错

core-site.xml

官网配置信息

fs.defaultFS默认配置localhost，修改成hadoop101

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.7/data/tmp</value>
</property>

hdfs-site.xml

配置hdfs的备份数，默认三个节点备份一个数据，如果一个节点宕机，其他两个节点还有备份，并且重新加入一个节点进行备份保证数据可靠

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

1.2 启动集群

第一次启动时，格式化NameNode，以后就不用格式化了，集群已经稳定

bin/hdfs namenode -format

hadoop-daemon.shhadoop的守护进程，启动NameNode

sbin/hadoop-daemon.sh start namenode

启动DataNode