day1-Hadoop搭建与安装

目录

       1 启动准备工作
        1.1 配置操作系统的环境变量
         1.2 创建Hadoop数据目录
          1.3 格式化文件系统
           1.4 启动和关闭Hadoop
            1.5 验证Hadoop是否成功启动
             1.6 hadoop-daemon.sh的使用
2 HDFS常用的操作命令
3 hdfs的高级使用命令
3.1 HDFS文件限额配置
3.2 数量限额
3.3 空间大小限额
3.4 HDFS的管理命令
3.5 hdfs的安全模式

一：修改 hadoop-env.sh 文件，增加环境变量信息

export JAVA_HOME=/export/servers/jdk1.8.0_161

export HADOOP_LOG_DIR=/export/data/hadoop_repo/logs/hadoop

二：

修改 core-site.xml 文件，注意 fs.defaultFS 属性中的主机名需要和你配置的主机名保持一致

<configuration>

   <property>

       <name>fs.defaultFS</name>

       <value>hdfs://my2308-host:9000</value>

   </property>

   <property>

       <name>hadoop.tmp.dir</name>

       <value>/export/data/hadoop_repo</value>

   </property>

</configuration>

三：

修改 hdfs-site.xml 文件，把 hdfs 中文件副本的数量设置为 1，因为现在伪分布集群只有一个节点

```

<configuration>

    <property>

       <name>dfs.replication</name>

       <value>1</value>

    </property>

</configuration>

```

 修改 mapred-site.xml，设置 mapreduce 使用的资源调度框架

<configuration>

    <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

    </property>

</configuration>

 修改 yarn-site.xml，设置 yarn 上支持运行的服务和环境变量白名单


<configuration>

<!-- Site specific YARN configuration properties -->

   <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

   </property>

   <property>

       <name>yarn.nodemanager.env-whitelist</name>

       <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

   </property>

</configuration>

2格式化：

hdfs namenode -format

3.启动Hadoop集群

sbin/start-all.sh

4.停止Hadoop集群

sbin/stop-all.sh