基于HDFS实现的简易云盘系统（代码开源）

已于 2023-12-19 10:25:53 修改
阅读量4.4k 收藏 80
点赞数 16
分类专栏： 学习总结 Hadoop 文章标签： hdfs hadoop 大数据 java
于 2023-03-06 21:25:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53574266/article/details/129369262
版权

文章目录

前言

基于HDFS的云盘系统实现了云盘的基本数据存储和访问功能。此为大二下大数据平台与架构的综合实验内容，本文旨在记录过程和问题，固然存在很多不合理的地方。

一、实验简介

云盘系统通过互联网为企业和个人提供信息的存储、读取、下载等服务。具有安全稳定、海量等特点。目前，云盘系统逐步走向成熟，特别是公有云盘能够向用户提供免费存储，，离线下载，文件智能分类等功能。随着互联网的不断普及，用户存储在云盘上的数据量越来越大，数据类型页越来越多样化，不仅有传统的文本文件，二进制文件，还有视频，音频，图像，图片等。这些数据不仅类型繁多，而且数据量普遍庞大。例如，一个视频文件可能高达几个G甚至几十个G。因此充分利用大数据平台的优势，可以为云盘提供一套适合上述特点的底层环境。（一堆没啥用的特色废话）

二、分析与设计

1. 功能需求分析：

用户管理

  • 实现用户的注册，登录，退出。
  • 注册成功时需要将用户信息写入数据库（呃，能存、能用即可），并在HDFS中建立用户的专属目录。

文件管理

  • 提供文件上传，下载，浏览，删除等功能。
  • 提供目录的管理，可以创建目录，复制或移动文件或目录到指定目录下面；可以删除目录。删除目录时需要给出提示。
  • 提供文件搜索功能。（没做qaq）

2. 系统设计

本系统基于B/S架构，采用HDFS 和 hadoop 分布式系统基础框架对数据和文件信息进行存储，实现处理数据量非常大的数据和数据性能的线性扩展，同时HDFS底层保存三份数据副本，实现文件系统的高可靠。

此外，系统借助IDEA开发工具，使用 Big Data Tools 插件与虚拟机的hadoop 进行交互，提高开发速度和开发效率。

三、效果展示

1. 登录界面(注册页面类似)
在这里插入图片描述

2. 主界面
在这里插入图片描述

四、环境配置

Hadoop 的基础环境配置如：xxxx。此为项目启动时的所需的配置。

1. 在Windows环境下，借助IDEA中的Big Data Tools 插件连接Ubuntu的HDFS
首先，我们需要让虚拟机与Windows的IP地址在终端能够互相ping通。这里存在一个不知道原因的必要步骤。

  • 当Windows通过WIFI连入互联网时，虚拟机（Ubuntu）的网络连接设置应采用如下的方式：
    在这里插入图片描述
  • 当Windows通过网线（以太网）连入互联网时，虚拟机（Ubuntu）的网络连接设置应采用如下的方式：
    在这里插入图片描述
    对了,记得关闭虚拟机与Windows 的防火墙,否则也无法相互ping 通.
    在这里插入图片描述
    Windows ping 虚拟机:(成功)
    在这里插入图片描述
    虚拟机 ping Windows:(成功)
    在这里插入图片描述

2. 修改虚拟机的主机信息(Hadoop的启动地址)
vim /etc/hosts
将此处修改为当前虚拟机的IP地址.(可能每次虚拟机启动,IP地址都会发生变化,此处建议每次启动项目时,进行查看和必要的修改)
在这里插入图片描述

3. 使用 Big Data Tools 连接HDFS
在这里插入图片描述
连接成功后,即可查看HDFS的存储结构了.(完成此步骤后,后面在开发代码阶段就不用担心连接问题啦)
在这里插入图片描述
4. 在Ubuntu 中启动Hadoop
bash cd /usr/local/hadoop ./sbin/start-all.sh
通过jps 查看是否启动成功:
在这里插入图片描述
5. 在浏览器中,打开HDFS的页面
在这里插入图片描述
通过访问 Ubuntu的IP地址 : 9870,跳转到此页面,说明所有都配置好了,接下来就可以开始实现功能了.
在这里插入图片描述

五、功能实现

(再次声明,本实验由本人独自完成,所以只顾着实现大致的功能,要求能跑即可.因此,肯定会存在很多的问题. qaq)
本系统实现的大部分功能,主要借助于hadoop 提供的 FileSystem类.

1. 基础部分

a. 在配置文件中配置远程连接Hadoop 的地址:
在这里插入图片描述
在这里插入图片描述

b. 初始化FileSystem 相关信息:
本系统采用文件记录实现用户管理，即在注册用户时，在文件中追加一条记录，但HDFS 设计之初不支持给文件追加内容，所以需要手动开启文件追加功能。

在这里插入图片描述

2. 用户管理

将用户的信息存放在 userinfo.dat文件中,文件中存储着用户名以及登录密码的信息.在用户登陆时,根据该文件的信息实现简单的校验;在用户注册信息时,将信息追加到该文件末尾.

a. 用户登录:

	// 用户登录检查(OK)
    public boolean loginCheck(String userName,String password) throws IOException {
        FileSystem fs = getFileSystem();
        Path srcPath = new Path("/userinfo.dat");
        FSDataInputStream in = fs.open(srcPath);
        BufferedReader reader = new BufferedReader(new InputStreamReader(in));

        String line = "";
        while((line = reader.readLine()) != null){
            String[] userinfo = line.split(",");
            if(userinfo[0].equals(userName) && userinfo[1].equals(password)){
                // 用户名密码正确
                fs.close();
                return true;
            }
        }
        // 未找到
        fs.close();
        return false;
    }

b. 用户注册:

// 用户注册
    @RequestMapping("/register")
    public void register(HttpServletRequest request,HttpServletResponse response) throws IOException {
        System.out.println("register is running.....");
        String userName = request.getParameter("username");
        String password = request.getParameter("password");
        String password_confirm = request.getParameter("confirmPassword");

        PrintWriter pw = response.getWriter();

        response.setCharacterEncoding("utf-8");
        response.setContentType("text/json; charset=UTF-8");

        JSONObject json = new JSONObject();

        if(!password.equals(password_confirm)){
            json.put("status","notsame");
            pw.write(JSON.toJSONString(json));
            return;
        }

        // 检验用户名是否存在
        if(fileSystemDao.userExistCheck(userName)){
            json.put("status","userexist");
            pw.write(JSON.toJSONString(json));
            return;
        }

        // 添加用户信息到userinfo.dat 文件中
        fileSystemDao.insertUserInfoToFile(userName,password);

        json.put("status","ok");
        pw.write(JSON.toJSONString(json));
    }

c. 删除用户:

    // 删除用户
    @RequestMapping("/deleteUser")
    public String deleteUser(HttpServletRequest request,HttpServletResponse response,HttpSession session,Model model) throws IOException {
        String userName = session.getAttribute("path").toString().split("/")[1];
        if(!fileSystemDao.userExistCheck(userName)){
            System.out.println("未找到相关用户信息！");
            return "deleteUser";
        }
        else {
            fileSystemDao.deleteUserInfoFromFile(userName);
            fileSystemDao.delete("/" + userName);
            return "index";
        }
    }

3. 文件管理

文件管理的代码太多了,懒得cv (bushi).
总结一下,文件管理大致包含以下部分:

  1. 获取指定目录下的所有文件信息
  2. 创建目录
  3. 删除文件或目录
  4. 移动文件（剪切 + 粘贴）
  5. 复制文件到指定位置(复制 + 粘贴)
  6. 更改文件名称
  7. 文件上传与下载
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

六、项目资源

本项目托管在Gitee上,欢迎各位大佬随意发挥.
基于HDFS实现的简易云盘系统

关于Ubuntu和Hadoop 的环境搭建存在的问题,或者直接需要当前已经配置好的虚拟机,完全可以私信笔者.

此外,本项目的代码很多借鉴于csdn其他优秀作者分享的内容.若有侵权,请及时联系笔者!

七、其他

1. hadoop的core-site.xml 配置文件

<configuration>
    <configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/usr/local/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
        </property>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>
</configuration>

2. hadoop的hdfs-site.xml 配置文件

<configuration>
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
        <property>
            <name>dfs.permissions</name>
            <value>false</value>
        </property>
    </configuration>
</configuration>

3. 创建目录时出现Permission denied: user=xxx, access=WRITE, inode=“/“:root:supergroup:drwxr-xr-x 的问题
出现此问题是因为用户对所操作的文件没有写的权限,创建目录需要拥有写权限，在测试的时候可以将所有文件的所有权限都开放,就不会出现这种错误。

解决方法: 修改hdfs-site.xml，追加dfs.permissions配置。如果是true，则打开权限检查系统；如果是false，权限检查就是关闭的。

<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>

八、参考文件

  1. HDFS文件内容追加(Append). 王树民. Hadoop专栏. 2018-09-12.
  2. 基于Hadoop的数据云盘的实现. Youth-shouting. 2018-11-28.
  3. hadoop 文件 复制 移动 FileUtil.copy. weixin_30552811. 2015-08-11.
putaojuzi
关注
  • 16
    点赞
  • 踩
  • 80
    收藏
    觉得还不错? 一键收藏
  • 19
    评论
专栏目录
基于hadoop伪分布式hdfs系统完成的云盘项目源码+项目说明+sql数据库.zip
12-28
【资源说明】 基于hadoop伪分布式hdfs系统完成的云盘项目源码+项目说明+sql数据库.zip 基于hadoop伪分布式hdfs系统完成的云盘项目基于hadoop伪分布式hdfs系统完成的云盘项目源码+项目说明+sql数据库.zip基于hadoop伪分布式hdfs系统完成的云盘项目源码+项目说明+sql数据库.zip基于hadoop伪分布式hdfs系统完成的云盘项目源码+项目说明+sql数据库.zip 1.需要提前安装好hadoop伪分布式系统 2.将文件db.properties中mysql数据库选择正确 3.修改utils包下Config配置 【备注】 1.项目代码均经过功能验证ok，确保稳定可靠运行。欢迎下载使用体验！ 2.主要针对各个计算机相关专业，包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间，不仅可作为入门进阶，也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中，如有问题或建议，请及时沟通。 5.期待你能在项目中找到乐趣和灵感，也欢迎你的分享和反馈！
Hadoop分布式云盘系统
04-03
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统。使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库，采用SpringMVC+Spring框架实现，包括用户注册与登录、我的网盘、关注用户、我的分享、我收到的分享等五大功能模块。其中我的网盘包括查看文件列表，多文件上传，创建文件夹，文件重命名、复制与移动、下载、在线浏览、分享等诸多功能。所使用的技术包括：SpringMVC框架、Spring框架、Maven项目管理工具、Hadoop HDFS文件系统、HBase数据库、openoffice服务、pdf2swf文件格式转换工具、flexpaper插件等。
自己用html+springboot写了个网盘项目（探讨+吐槽+唠嗑大杂烩）
cancerai的博客
02-27 974
最近一直在学习java和springboot，于是哈，我突发奇想，想自己写一个网盘（因为我觉得可以写出来，虽然是新手）。而且放在家里还能当个小云盘用呢。之前我在网上有没有看了好多的开源网盘，要么太丑了，要么就是功能太杂，和我的预想不符合。那么我想自己开发一个网盘，反正我也在学编程，就当做练习了。项目的部署详细步骤我放在文章最后，感兴趣的可以研究一下，有任何问题都可以在留言区或在gitee提交issues。
基于hdfs，javaweb servlet的简易网盘（云盘）完整版本.zip
10-29
1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 -------- 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。
基于springboot+netty+redis+hdfs实现的一个线上分布式网盘系统，毕业设计项目，个人学习，课设等均可
06-19
基于springboot+netty+redis+hdfs实现的一个线上分布式网盘系统，毕业设计项目，个人学习，课设等均可，项目经过测试，可完美运行！ 项目结构 项目主要分为一下几个模块 web-service 主要功能是页面展示，交互 file-service 主要是面向客户端提供文件传输，上传或下载文件 file-core 主要功能是对文件进行处理，包括文件转换，文件预览，文件转储等功能 admin 简单的超级管理员功能 主要技术 springboot netty redis hdfs 基于springboot+netty+redis+hdfs实现的一个线上分布式网盘系统，毕业设计项目，个人学习，课设等均可，项目经过测试，可完美运行！ 基于springboot+netty+redis+hdfs实现的一个线上分布式网盘系统，毕业设计项目，个人学习，课设等均可，项目经过测试，可完美运行！ 基于springboot+netty+redis+hdfs实现的一个线上分布式网盘系统，毕业设计项目，个人学习，课设等均可，项目经过测试，可完美运行！ 基于springboot+n
Python+HDFS实现云盘系统
Time_book的博客
07-11 1453
这里写目录标题一、项目任务描述二、分析与设计1、系统架构及功能模块的划分2、模块设计思想3. 人机界面设计（如果有）4. 相关类的说明三、系统实现1、各个类的定义与实现2、实现测试程序 一、项目任务描述 云盘系统通过互联网为企业和个人提供信息的存储、读取、下载等服务。具有安全稳定、海量等特点。目前，云盘系统逐步走向成熟，特别是公有云盘能够向用户提供免费存储，，离线下载，文件智能分类等功能。随着互联网的不断普及，用户存储在云盘上的数据量越来越大，数据类型页越来越多样化，不仅有传统的文本文件，二进制文件，还有视
开源网盘 seafile - 文件管理系统 （开源项目部署）
走在搬砖的路上！
06-11 1100
推荐几款网盘源码程序
热门推荐
正安一片瓦的软件技术园地
01-27 5万+
喜欢收集资源，喜欢分享资源，网盘无疑是必不可少的工具。百度、阿里网盘虽然很好用，但自己有硬盘和主机资源的，都想自建网盘存储数据，实现存储自由和数据安心。
基于springboot,hdfs的网盘系统(查看，上传，下载，删除，新建文件)
m0_45311187的博客
03-15 4485
基于springboot,hdfs的网盘系统（云服务器搭建的分布式架构上的hdfs，windows编译器IDEA，包含全开发流程,springboot部署在linux上，可公网访问） 基于maven的springboot项目。
使用HDFS 简单实现云盘系统
Maynor996的博客
12-17 2670
HDFS作为Hadoop的文件系统，具有以下特点： 高容错 流式文件访问 适合大数据处理 适合批处理 高容错率可以使它构建在廉洁的机器上 当然也有缺点： 不擅长低延迟和高吞吐率的数据访问 小文件存储 并发写入和高频率修改 参照：https://blog.csdn.net/woshiwanxin102213/article/details/19990487 HDFS常用指令 HDFS的指令很多都与Linux有相同之处。官网指令参考地址 指出几个不同且常用的： hadoop fs -get #将文件从H
基于Java+hadoop网络云盘上传下载系统设计与实现
毕业作品网站
11-04 1945
完成了系统的需求分析之后，就进入了系统的设计阶段，在整个系统的开发时期中，设计阶段是最主要的阶段。基于hadoop的网络云盘系统，该系统的模块主要有用户注册模块、登陆模块，用户信息管理模块（实现用户信息的增加、删除、改动、查寻），文件上传模快来实现文件的增加、删除、改动，文件下载模块，文件点对点共享这五个模块。系统设计规则：代码简洁，功能实用，去除掉哗众取宠的鸡肋功能，专注于网络云盘的基本功能的实现。本课题要实现的是网络云盘的设计，所以功能清晰明了，在设计该系统时，应尽可能的贴近生活,便于操作和使用。
基于hadoop的web云盘系统
02-24
这是一个基于hadoop的云盘系统，实现的界面是用javaweb完成的，使用的是spring Struts2 hibernate集合框架，配有sql文件。直接导入后运行
HDFS.zip（云盘系统）
06-28
云盘系统通过互联网为企业和个人提供信息的存储、读取、下载等服务。具有安全稳定、海量等特点。目前，云盘系统逐步走向成熟，特别是公有...本题目要求开发一个基于HDFS的云盘系统来实现云盘的基本数据存储和访问功能。
基于hadoop的云盘系统
10-03
毕业设计，基于hadoop的云盘系统，技术选型springboot+mysql+layui+hdfs+hbase（未完成）
云盘管理系统HDFS.rar
10-06
教师可以上传资源来建设自己的课程 ，学生通过App可以观看视频 、下载学习资源、提问、评论等。 后端技术：Java、Servlet、JSP 前端技术：CSS、HTML、JQUERY、...数据库：MYSQL 开发工具：eclipse、Android studio、P
本云盘系统是基于hadoop hdfs的集群分布式系统+源代码+文档说明
12-29
本云盘系统是基于hadoop hdfs的集群分布式系统+源代码+文档说明 -------- 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分...
云盘系统，文件上传至hdfs
12-14
使用java开发的网络云盘系统，跟百度云相似，包含完全的网盘操作，上传的文件保存在大数据平台hdfs上。
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2736
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
Hadoop伪分布式平台搭建
最新发布
qq_74137843的博客
04-26 567
搭建Hadoop伪分布式环境是在单台机器上模拟完整的Hadoop分布式系统，使得所有的Hadoop守护进程（如NameNode、DataNode、ResourceManager、NodeManager等）都在同一台机器上运行。这样可以在一台机器上体验Hadoop的分布式特性，适合学习、测试和开发。
编写一个使用hdfs及其java api实现的简易文件云盘系统 提供java代码
04-23
为您提供一个简单的hdfs文件云盘系统的Java代码： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; public class HdfsCloudDisk { public static final String HDFS_URI = "hdfs://localhost:9000"; public static final String ROOT_DIR = "/cloud_disk/"; private FileSystem fileSystem; public HdfsCloudDisk() throws IOException { Configuration configuration = new Configuration(); configuration.set("fs.defaultFS", HDFS_URI); fileSystem = FileSystem.get(configuration); if (!fileSystem.exists(new Path(ROOT_DIR))) { fileSystem.mkdirs(new Path(ROOT_DIR)); } } public void upload(String fileName, InputStream inputStream) throws IOException { Path filePath = new Path(ROOT_DIR + fileName); OutputStream outputStream = fileSystem.create(filePath); byte[] buffer = new byte[1024]; int len = inputStream.read(buffer); while (len > 0) { outputStream.write(buffer, 0, len); len = inputStream.read(buffer); } inputStream.close(); outputStream.close(); } public InputStream download(String fileName) throws IOException { Path filePath = new Path(ROOT_DIR + fileName); return fileSystem.open(filePath); } public void delete(String fileName) throws IOException { Path filePath = new Path(ROOT_DIR + fileName); fileSystem.delete(filePath, true); } public static void main(String[] args) throws IOException { HdfsCloudDisk cloudDisk = new HdfsCloudDisk(); cloudDisk.upload("test.txt", HdfsCloudDisk.class.getResourceAsStream("/test.txt")); InputStream inputStream = cloudDisk.download("test.txt"); byte[] buffer = new byte[1024]; int len = inputStream.read(buffer); while (len > 0) { System.out.print(new String(buffer, 0, len)); len = inputStream.read(buffer); } inputStream.close(); cloudDisk.delete("test.txt"); } } 本代码中，使用了hadoop的java api来连接hdfs文件系统，并实现了上传、下载和删除文件的基本操作。在初始化时，代码会创建一个根目录，上传文件时文件名需要带上路径，下载文件时返回输入流，删除文件时可以选择是否删除目录。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值