大数据学习(2)-本地上传到HDFS去重

本地上传文件到HDFS利用Redis去重

前言：
HDFS存储数据块的同时还会存储数据的MD5加密校验和用来判断该数据是否完整
下面代码就是模仿这个特性做了一个小功能进行上传时内容去重
技术选型

1. springboot
2. Redis
3. Hadoop
4. JSP
5. Maven

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.7.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.msk</groupId>
    <artifactId>springboot-hadoop</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>springboot-hadoop</name>
    <description>Demo project for Spring Boot</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <!-- Springboot的web支持 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <!-- Springboot的测试支持 -->
        <dependency>
            <groupId&g