hadoop2.4.1+hbase0.98.3实现的分布式网盘系统初步

最新推荐文章于 2022-02-15 00:03:09 发布
最新推荐文章于 2022-02-15 00:03:09 发布
阅读量205 收藏 1
点赞数
文章标签： 大数据 git java
原文链接：https://my.oschina.net/weiwei/blog/297407
版权

项目已开源：http://git.oschina.net/weir/weirWQ

直接上图片

web端用spring mvc4.0.5

hadoop+hbase 伪分布实验环境

已实现用户注册 登陆

网盘管理：上传文件 创建文件夹 修改文件及文件夹 分享文件及文件夹 删除文件及文件夹

仿百度文库浏览文档 和下载文件功能。

关注用户管理： 关注和取消关注用户

文件分享：分享列表查看
















转载于:https://my.oschina.net/weiwei/blog/297407

chunzhi9447
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于HBase的云盘项目复制功能总结
MrSaber的博客
08-21 962
表结构： （parentId为父文件的ID）设计思想：**从前台获取的参数：**ids（所选中的文件或文件夹的id数组），dst（目的地文件的id）。 **步骤：**1.把ids的文件在HDFS中移动到dst 2.将复制文件添加到file与user_file表中。 难点解析： 复制的难点在于需要将文件信息添加入file表，并且需要将父子文件的关系传到user_file
ubuntu虚拟机搭建hadoop+spark+zookeeper+hbase+kafka环境
szk171848581的专栏
09-07 760
准备工作（软件所需及作用） 1.1- vmware安装包，ubuntu系统 --> 搭建虚拟机环境 1.2- jdk --> 安装java环境 1.3- xshell --> 本机可以连接虚拟机，可选择其他 1.4- scala --> 虚拟机用到的编程环境，可选择其他 1.5- hadoop --> 搭建hadoop环境 1.6- spark --> 搭建spark环境 注- （软件如有需，文章后面会有网盘链接） 流程大致说明：为了简化操作，选用了图形版ubuntu..
disk:基于hadoop + hbase + springboot实现分布式网盘系统
03-11
分布式网盘系统 这个版本比较干净，整个demo在Hadoop，和Hbase环境建造好了，可以启动起来。 技术选型 1，Hadoop 2.Hbase 3，SpringBoot ...... 系统实现的功能 1.用户登录与注册2.用户网盘管理3.文件在线浏览功能4.文件上传与下载...... Hbase创建表语句 hbase-daemon.sh start master ##启动Hbase 创建“ email_user”，“用户” 创建“ user_id”，“ id” 创建'gid_disk'，'gid'创建'user_file'，'file' 创建“文件”，“文件” 创建“关注”，“名称” 创建“关注”，“用户ID” 创建“共享”，“内容” 创建“共享”，“ shareid” HdfsConn package com.netpan.dao.conn ; import org.apache
hadoop2.4.1+hbase0.98.3实现的分布式网盘系统-核心代码(已开源)
weir2008的专栏
09-01 454
应大家的强烈要求，现在开源该项目：http://git.oschina.net/weir/weirWQ package com.weirq.db; import java.io.IOException; import java.io.Serializable; import java.util.ArrayList; import java.util.Date; import j...
HBase搭建单机版
CBeann的博客
05-10 6722
环境 jdk1.8.0_121 hadoop-2.7.2 链接：https://pan.baidu.com/s/1vi3TNtnauqd-x0FQkpaZig 提取码：ffo9 复制这段内容后打开百度网盘手机App，操作更方便哦 zookeeper-3.4.5 链接：https://pan.baidu.com/s/11DBYKY4js-BUQwNBDPIYvg 提取码：2645 ...
hbase-2.4.17-bin 安装包
最新发布
08-28
HBase是Apache Hadoop生态系统中的一个分布式、版本化、列族式存储系统，设计用于处理大规模数据集。这个“hbase-2.4.17-bin”安装包提供了HBase的最新稳定版本2.4.17，适用于大数据处理和分析场景。下面将详细介绍...
hbase bigtable 安装
zengxianglei的博客--手指星辰 奈何天！
06-10 807
hbase bigtable 1.1 hbase数据库介绍 1、简介 hbase是基于Google BigTable模型开发的，典型的key/value系统。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它是Apache Hadoop生态系统中的重要一员，主要用于海量结构化和半结构化数据存储。 它介于nosql和RDBMS之间，仅能通过主键(row ...
Hadoop基础学习笔记系列（六）HDFS架构
ElsaWu的布袋子
02-15 1738
目录概览性能范围块大小HDFS读写过程写过程读过程HDFS调优参数0 调优1 HDFS Block Size2 HDFS Replication3 NameNode，DataNode system4 栗子：分布式复制HDFS健壮性健壮性如何达到？ 概览 可扩展的分布式文件系统 将数据以节点形式分布在本地磁盘上 高度容错：可以使用低成本商业硬件 数以千计的节点：需要处理节点或硬盘的failure 轻量级 高流通量 Approach： 一致性模型：写一次读多次 数据复制：可以处理硬
大数据处理相关框架对比
qa3320754的博客
01-12 1367
大数据处理相关框架对比 对比大数据场景中所使用到的开源框架，包括框架特性、模型、功能、性能、应用场景以及发展方向 0. 前言 todo 大数据定义 todo 大数据特征 todo 大数据技术 todo 大数据应用 todo 大数据发展方向 在使用或学习大数据相关组件前，我们应该了解以下前置知识，包括开源许可证的种类与选择。 0.1 开源许可证 互联网环境下，无论是在企业中开发还是个人进行创作，只要遇到开源软件（小到远程控制工具OpenSSH，JAVA编程语言，大到Linux操作系统），都会见到开源许可证
HBase实战实例
06-05
hbase 实战 GISMaster
Hadoop分布式云盘系统
04-03
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统。使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库，采用SpringMVC+Spring框架实现，包括用户注册与登录、我的网盘、关注用户、我的分享、我收到的分享等五大功能模块。其中我的网盘包括查看文件列表，多文件上传，创建文件夹，文件重命名、复制与移动、下载、在线浏览、分享等诸多功能。所使用的技术包括：SpringMVC框架、Spring框架、Maven项目管理工具、Hadoop HDFS文件系统、HBase数据库、openoffice服务、pdf2swf文件格式转换工具、flexpaper插件等。
Hadoop及Hbase介绍
09-26
本ppt是精心制作的，所涉及的面广，但不够深入，适合对初学者和非技术人员使用，颜色亮丽色彩鲜艳，物超所值
基于hadoop的web云盘系统
02-24
这是一个基于hadoop的云盘系统，实现的界面是用javaweb完成的，使用的是spring Struts2 hibernate集合框架，配有sql文件。直接导入后运行
springmvc+hadoop+maven实现文件上传至hdfs
09-03
本实例依托于springmvc框架，采用maven作为jar包管理仓库，通过引用hadoop相关jar包，编写了hdfs操作工具类，能够在web端实现文件远程上传至hdfs。
云盘小程序(Hbase数据库)：注册，登录部分
MrSaber的博客
08-12 1175
需求分析：实现已给界面的云盘的注册，登录功能，要求功能所需要的表全都放在Hbase中。登录注册界面： 设计表 1.表gid：为计数器，每注册一个用户其gid列中的值就会加1，作用是生成其他行所需id。 2.表user_id：是id和用户名的映射，作用是当判断是否正确登录时，我们通过用户所输入的用户名，去匹配其对应id，然后通过id去id_。 3.表id_user：存储用户所有信息。
Hadoop+HBase搭建云存储总结
好记性不如烂博客
06-17 2430
Hadoop文件系统是一个能够兼容普通硬件环境的分布式文件系统， 和现有的分布式文件系统不同的地方是Hadoop更注重容错性和兼容廉价的硬件设备，这样做是为了用很小的预算甚至直接利用现有机器就实现大流量和大数据量的读取。 Hadoop 使用了POSIX的设计来实现对文件系统文件流的读取。HDFS（Hadoop FileSystem）原来是Apache Nutch搜索引擎（从Lucene发
hadoop2.4.1+hbase0.98.3实现的分布式网盘系统初步-已开源
weir2008的专栏
08-02 5448
hadoop2.4.1+hbase0.98.3实现的分布式网盘系统初步
CDH3U0环境下Hadoop+ZooKeeper+HBase分布式集群搭建指南
ZooKeeper是Apache的一个分布式协调服务，它管理着Hadoop和HBase等分布式应用的配置信息、命名服务、分布式同步和组服务。在集群中，Zookeeper通常作为独立的服务运行，以确保服务的稳定性和高可用性。文档建议使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值