hadoop基础

安装hadoop

1. 下载Hadoop发布的稳定包：https://archive.apache.org/dist/hadoop/common/

2. 当前电脑要安装有java的jdk，配置java环境和java_home。

   注意，hadoop只可使用jdk1.8版本

3. 此时启动第2步的bat文件，输入命令：hadoop version，然后输出如图：

4. Hadoop在Windows下完整运行需要Windows组件支持，从

https://github.com/steveloughran/winutils

这里下载一个，下载完成后，解压得到若干版本的winutils，选用2.8.3版本：

然后把上面的bin文件全部复制到第1步中解压后的hadoop-2.8.3\bin文件夹下面，覆盖原先的bin目录文件下所有文件。

5. 创建三个文件夹，namenode，datanode，tmp。

6. 把以下4个配置文件全部复制替换掉hadoop\hadoop-2.8.3\etc\hadoop下的文件：

core-site.xml：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://localhost:9000</value>
</property>
 
<property>
	<name>hadoop.tmp.dir</name>
	<value>/E:/hadoop/my/tmp</value>
</property>
</configuration>

hdfs-site.xml：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<property>       
<name>dfs.replication</name>       
<value>1</value>   
</property>  
<property>