Windows10 + hadoop3.2.1 单机部署

Windows10 + hadoop3.2.1 单机部署

1 . 在 E:\hadoop-3.2.1 下创建 datas\namenode、datas\datanode、tmp 三个文件夹

2. 配置文件参数

2.1 core-site.xml

<configuration>
	<property>
	 <name>fs.default.name</name>
	 <value>hdfs://localhost:9000</value>
	</property>
</configuration>

2.1 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
    <property>
        <name>dfs.namenode.name.dir</name>          
        <value>file:/E:/hadoop-3.2.1/datas/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>      
        <value>file:/E:/hadoop-3.2.1/datas/datanode</value>
    </property>
</configuration>

2.1 mapred-site.xml

<configuration>
  <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2.1 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
	 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
	<property>
        <!-- 中间结果存放位置 -->
        <name>yarn.nodemanager.local-dirs</name>
        <value>/E:/hadoop-3.2.1/tmp</value>
    </property>
</configuration>

3. 以管理员身份打开命令提示符

	输入hdfs namenode -format,看到seccessfully就说明format成功
	format 错误信息：

在这里插入代码片2020-03-15 15：38：05,819 INFO util.GSet：映射NameNodeRetryCache的计算能力
2020-03-15 15：38：05,819 INFO util.GSet：VM类型= 64位
2020-03-15 15：38：05,820 INFO util.GSet：0.029999999329447746％最大内存889 MB = 273.1 KB
2020-03-15 15：38：05,820 INFO util.GSet：容量= 2 ^ 15 = 32768条目
2020-03-15 15：38：05,883信息namenode.FSImage：分配的新BlockPoolId：BP-381120843-10.0.0.230-1584301085876
2020-03-15 15：38：05,884 namenode.NameNode错误：无法启动namenode。
java.lang.UnsupportedOperationException
        在java.nio.file.Files.setPosixFilePermissions（Files.java:2044）
        在org.apache.hadoop.hdfs.server.common.Storage $ StorageDirectory.clearDirectory（Storage.java:452）
        在org.apache.hadoop.hdfs.server.namenode.NNStorage.format（NNStorage.java:591）
        在org.apache.hadoop.hdfs.server.namenode.NNStorage.format（NNStorage.java:613）
        在org.apache.hadoop.hdfs.server.namenode.FSImage.format（FSImage.java:188）
        在org.apache.hadoop.hdfs.server.namenode.NameNode.format（NameNode.java:1206）
        在org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode（NameNode.java:1649）
        在org.apache.hadoop.hdfs.server.namenode.NameNode.main（NameNode.java:1759）
2020-03-15 15：38：05,887信息util.ExitUtil：以状态1退出：java.lang.UnsupportedOperationException
2020-03-15 15：38：05,889 INFO namenode.NameNode：SHUTDOWN_MSG：
/ ***************************************************** ***********
SHUTDOWN_MSG：在DrStrange / 10.0.0.230中关闭NameNode
****************************************************** ********** /

解决办法：
以下错误是Hadoop 3.2.1中的错误。

此问题将在下一版本中解决。目前，您可以使用以下步骤临时修复它：

从以下链接下载hadoop-hdfs-3.2.1.jar文件。
将文件夹％HADOOP_HOME％\ share \ hadoop \ hdfs中的文件名hadoop-hdfs-3.2.1.jar重命名为hadoop-hdfs-3.2.1.bak
将下载的hadoop-hdfs-3.2.1.jar复制到文件夹％HADOOP_HOME％\ share \ hadoop \ hdfs

4. 一定要以管理员身份运行

sbin下面的 start-all.cmd
不然会报权限错误，nodemanage运行失败

启动可能还会出现的错误：

java.lang.ClassNotFoundException: org.apache.hadoop.yarn.server.timelineservice.collector

问题所在：hadoop启动报错，缺少hadoop-yarn-server-timelineservice jar包

解决办法：将hadoop-2.9.2\share\hadoop\yarn\timelineservice下 hadoop-yarn-server-timelineservice-2.9.2.jar 复制到hadoop-2.9.2\share\hadoop\yarn\lib目录下