hadoop windows安装

 jdk 安装

注意，jdk的安装目录一定不要带空格。如果带了空格，在后面的hadoop,spark安装时会导致他们不识别jdk环境。出现错误。当然，是否带空格对javac,java -version 这类命令没有影响。

如果已经安装完成并且已经带了空格，那么

C:\Program Files\Java\jdk1.8.0_121

变成

C:\Progra~1\Java\jdk1.8.0_121

重开cmd，能够看见启动完成

 

hadoop 安装

hadoop 所有版本

1.选择你想要安装的版本，下载，当然这下载速度可不要说太慢。建议用迅雷或者去找找别的资源。

2.下载hadoop在windows 环境运行所需要的工具。在git上。https://github.com/steveloughran/winutils。

当然在git上下载也不要太折磨人。建议选择码云。https://blog.csdn.net/a1439775520/article/details/105155813/

这篇博客详细写了如何使用码云下载git代码。当然，如果你网速够好，当我没说。

把工具中的bin目录替换haoop中的bin目录。 并且找到hadoop.dll 放到C:\Windows\System32 下面。

3.把hadoop的bin目录地址加入环境变量。

在path中加入

4.修改etc\haoop下的配置文件

1.core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>


2.hdfs-site.xml namenode 与datanode目录会自动创建


<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/data/dfs/datanode</value>
</property>
</configuration>




3.mapred-site.xml.template 变成 mapred-site.xml


<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>



4.yarn-site.xml


<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>




5.hadoop-env.cmd   

set JAVA_HOME=C:\Progra~1\Java\jdk1.8.0_121

5.  进入bin目录执行 hadoop namenode -format

6. 进入sbin,执行start-all.cmd

7.进入http://localhost:50070/ 查看

8.在sbin 目录下执行 stop-all.cmd

Spark 安装

https://www.cnblogs.com/chevin/p/11064854.html

看起来写的比我好，坑了。有缘再写 。