一.研究背景及目的
在经济发展和科学技术的推动下,人类已经进入信息化社会,人们对安全、便捷、舒适的管理方式的需求在日益增加。各行各业在信息技术的推动下不断发展进步,特别是近年来互联网应用不断深入,在管理领域取得了巨大的进步,无论是国家还是企业都进行了信息化的改革,目前各项、各级别管理工作的研究的重点也转移到信息化上。随着互联网和大数据的发展,越来越多数据需要通过网络进行传输,目前已经有很多以网络硬盘形式产生的各种网盘出现,从最开始原始硬盘仅仅适用于小文件的传送,到如今网盘市场日益激烈竞争和存储技术的不断发展,从传统的硬盘技术慢慢转化成最新的云计算存储技术,也更适用于各个中小企业和个人用户的资料存储、备份。
目的:考虑到广大学生和教师在教学中不出现以上必要问题,决定搭建一套小型企业可管可控的云服务系统,系统将运行在一个全分布式Hadoop集群上的小型企业网盘,以便学生及教师在存取教学文件时可以快捷方便、安全稳定,将教学课件、学习资料从原来的单一的纸质存储转为云存储模式,该模式是利用分布式集群及网络等技术完成企业网盘系统,云存储已经成为搭建企业网盘中不可或缺的存储数据技术,用户可以在任何地点、任何时间,通过任何互联网设备便可以轻松的存储数据。本设计是基于HDFS的分布式网盘系统,运行在硬件上,HDFS是一个高度的容错性系统,采用了服务器与宿主机模式(Master/Slave),HDFS集群由NameNode和若干的DataNode组成,NameNode负责作为主服务器,而DataNode在集群中充当着存储数据,可以部署在一个低廉的硬件系统上,作为本设计的重要组成部分。
二:关键技术
1:Hadoop系统架构
Hadoop系统架构是一种云计算基础框架,拥有着免费和使用起来较为简单的优点,能够让基础不好的用户也能够直接越过大数据底层来实现对应需求,只需要使用对应的接口即可实现,这就让Hadoop系统架构收到了广泛欢迎。另外,Hadoop系统架构还能够适应多种变成语言,这种跨平台的性质也让其受到了极高的关注度,例如Hadoop能够支持的语言包括C、C++、Java等等。严格来说,Hadoop并不是指某一个技术,而是一系列技术的统称,例如在Hadoop生态中,有着HDFS,MapReduce和HBase等开源子框架。其中MapReduce和HDFS是Hadoop中的代表技术,当然也存在其他的开源项目广受欢迎。本届介绍Hadoop系统架构中的Zookeeper、Hive和HBase组件。
2:Maven管理工具
Maven管理工具有以下几大优点:一,管理目录结构十分完整;二,系统框架十分健全;三,能够为开发者节省大量时间成本,基于上述三大因素,Maven管理工具得到了众多开发人员的认可和青睐。由于该管理工具的系统结构十分完善,能够实现自动配置,独自完成报告的创建,因此,开发者无需在配置方面花费多余时间,只需确保文件能够被保存在合理位置即可。因此,不少企业开始开始使用这种目录框架。
3:Spring框架
之前,许多的网络技术性公司都面对着程序软件开发过程中的棘手问题,而这些问题在整个开过程中是极难解决的。以前许多需要通过EJB才能解决的问题,可以通过JavaBean操作来是实现,可以说这种框架就是为了企业的开发而设计出来的。在对Spring框架进行开发时,就设想到不仅是在服务端进行服务,而是能够在所有的Java程序中的到应用。
报告截图: