win安装部署hadoop3.0.0并启动上传文件到HDFS

1.下载工具包（下载不方便的留邮箱）

hadoop-3.0.0.tar.gz

winutils-master.zip

2.正式上手

1.解压文件 hadoop-3.0.0.tar.gz   winutils-master.zip

2.配置环境变量

Path最前面添加：;%HADOOP_HOME%\bin;

配置完cmd-> hadoop version 测试一下

下来就修改配置文件进入解压后的hadoop3.0.0->etc->hadoop目录

修改core-site.xml文件添加

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

修改hdfs-site.xml文件 添加

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->  
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
     <name>dfs.permissions</name>
     <value>false</value>
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/hadoop-DATA/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/D:/hadoop-DATA/hadoop-3.0.0/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/D:/hadoop-DATA/hadoop-3.0.0/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/hadoop-DATA/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

修改yarn-site.xml文件添加

<configuration>  
<!-- Site specific YARN configuration properties -->  
    <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
   </property>  
   <property>  
         <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>    
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
   </property>  
</configuration>

修改 mapred-site.xml文件添加

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

下来将解压的winutils-master中的hadoop-3.0.0 bin目录下的hadoop.dll和winutils.exe拷贝到 

hadoop-3.0.0下的bin目录覆盖掉原来的。

启动hadoop

cmd 进入hadoop-3.0.0 bin目录执行hdfs namenode -format

进入sbin目录执行start-all.cmd 启动hadoop会弹出多个win窗口

创建file目录

还是在sbin目录：hadoop fs -mkdir /file

上传文件到HDFS:hadoop dfs -put /E:/125.gif /file

Hadoop自带了web UI管理页面 可以看看结果：

①资源管理（localhost:8088）

②节点管理（localhost:9870）

下来用代码实现文件操作

pom.xml

<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>RELEASE</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-core</artifactId>
    <version>2.8.2</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.0.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.0.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>3.0.0</version>
</dependency>

java代码