FastDFS与Hdfs的区别

已于 2022-06-29 09:30:46 修改
阅读量7.5k 收藏 7
点赞数 8
分类专栏： hadoop 大数据 文章标签： 大数据 hadoop
于 2020-04-07 00:37:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37125796/article/details/105355365
版权

主要是定位和应用场合不一样。
hadoop的文件系统HDFS主要解决并行计算中分布式存储数据的问题。其单个数据文件通常很大，采用了分块（切分）存储的方式；

FastDFS主要用于大中网站，为小文件上传和下载提供在线服务。所以在负载均衡、动态扩容等方面都支持得比较好，FastDFS不会对文件进行分块（切分）存储。

其它文章:   HDFS和FastDFS的上传、下载效率对比测试

csdn-延
关注
  • 8
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
各种数据库特性及比较
11-10
文档总结了各种数据库特性及比较，包括HDFS、HBASE、Redis、mysql、MongoDB、fastdfs等
hdfs、tfs、fastdfs、Tachyon的辨析
码放南山
10-26 1372
一、Hdfs 概念： Hadoop分布式文件系统. ①保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ②运行在廉价的机器上。 ③适合大数据的处理。多大？多小？HDFS默认会将文件分割成block，128M为1个block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中(namenode)。如果小文件太多，那内存的负担会很重 架构...
FASTDFS配置详解、安装包、代码.zip
最新发布
07-28
配置文件详解、安装包、工具包、源码
分布式文件系统FastDFS架构剖析
02-21
FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及FastDFS、mogileFS、HDFS、TFS等类GoogleFS都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 FastDFS的设计理念 FastDFS是为互联网应用量身定做的分布式文件系统，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标。和现有的类GoogleFS分布式文件系统相比，FastDFS的架
FastDFS+Ngix的集成+FastDHT去重
01-09
FastDFS分布式文件系统 特点 开源的轻量级分布式文件系统 纯粹C语言实现 支持Linux FreeBSD等unix系统 类似CoogleFs/HDFS 但是不是通用的文件系统 只能通过专有的API访问 目前提供了C Java和PHPAPI 高性能,高扩展 不仅可以存储文件,还可以存储文件的元数据信息 架构 FastDFS架构中有client tracker 和 storage服务 Client:用于提交文件给FastDFS集群 Tracker: 负责监控和调度Storage服务,起到负载均衡的作用 Storage: 服务负责实际数据的存储 在Storage中,如果卷是一样的,就意味着这
评测：hdfs与fastdfs性能比较
qq_40853517的博客
06-29 3032
测试环境 测试使用的FastDFS服务器，HDFS服务器均在vmware虚拟机中搭建，HDFS的服务器直接由FastDFS服务器克隆而来，所以除了一个安装了hadoop，一个安装了FastDFS，其他环境完全一致。 HDFS配置了集群环境，一主三从，但是只打开一台从节点服务器。 vmware的配置如下图： 测试主机（上述vmware、测试代码的运行环境）CPU、内存如下图： 编码层面，对HDFS和FastDFS客户端都做了一层封装以达到简化开发的目的，封装对性能的影响不大。 所有代码均在
常用的分布式文件系统
xinyuan的专栏
03-30 2551
常用的分布式文件系统
FastDfs分布式文件服务器 与HDFS分布式文件服务器
程序员路同学
05-28 1375
安装FastDfs github下载FastDfs相关的文件 https://github.com/happyfish100/fastdfs 下载fastdfs文件 我这里下载的是5.11版本 下载libfastcommon 依赖 https://github.com/happyfish100/libfastcommon/tree/V1.0.36 解压fastdfs-5.11.tar.gz 和libfastcommon-1.0.36.zip 检查Linux上是否安装了 gcc、libeven..
FastDFS（一）分布式文件系统
weixin_49741990的博客
01-23 227
FastDFS（一）分布式文件系统 什么是文件系统 文件数据是如何存储的？？ 分布式文件系统 一台电脑存储量有限，并且并发吞吐量也有限，如何提高性能？ 一吨货物，我要运送到吐鲁番： 1个人运，不敢想象 50个人运，太难了 500个人运，每个人都很轻松 这里面有集群的概念，也有分布式的概念，二者不要混淆 分布式：不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务，部署不同的服务器上。解决高并发的问题 集群：同一个业务部署在多台服务器上，提高系统的高可用 栗子：
HDFS和FastDFS的上传、下载效率对比测试
chengxiandu5378的博客
01-04 2219
测试环境 测试使用的FastDFS服务器，HDFS服务器均在vmware虚拟机中搭建，HDFS的服务器直接由FastDFS服务器克隆而来，所以除了一个安装了hadoop，一个安装了FastDFS，其他环境完全一致。 HDFS配置了集群环境，一主三从，但是只打开一台从节点服务器。 vmw...
fastdfs和其他文件系统区别
11-20
常用的分布式文件系统对比,如FastDfs,tfs ,hdfs,mongolieFs ,clusterFs等
ubuntu18.04 搭建FastDFS图片服务器
01-09
准确地讲，Google FS以及FastDFS、mogileFS、 HDFS、TFS等类Google FS都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。   FastDFS 是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：...
7种主流分布式文件系统介绍
04-08
整理了当前最主流的7种分布式文件系统（FastDFS MogileFS HDFS`TFS MooseFS KFS Ceph）的概要介绍，可以使你快速了解当前分布式文件系统的特性、各自文件系统实现目标及应用场景，了解这些分布式文件系统的架构特点...
流行分布式文件系统介绍
06-30
分布式文件系统介绍，包含分布式文件发展历史，设计原理，流行分布式文件系统介绍，如：HDFS TFS FASTDFS CEPH LUSTRE GOOGLEFS MOOSEFS MOGILEFS
分布式文件系统对比
12-28
分布式文件系统对比,主要对比MooseFS，Ceph，GlusterFS，Lustre，FastDFS后整理。
基于GlusterFS实现Docker集群的分布式存储
03-01
目前开源的分布式文件系统有许多，例如GFS，Ceph，HDFS，FastDFS，GlusterFS等。GlusterFS因其部署简单、扩展性强、高可用等特点，在分布式存储领域被广泛使用。本文主要介绍了如何利用GlusterFS为Docker集群提供...
delete.topic.enable=true,然后通过kafka manager能删除干净吗?
延宝小白马的博客
03-29 7274
delete.topic.enable=true ； auto.create.topics.enable=false ； 只有这两个参数同时开启，kafka-manager才可以将某个topic删除干净。 auto.create.topics.enable意思是：produce可以推送消息到一个不存在的topic（即：发消息到一个不存在的topic,系统会帮你按默认参数...
调整kafka服务端允许生产者发送的最大消息体大小
延宝小白马的博客
03-06 6184
集群配置 1. server.properties message.max.bytes=5242880 default.replication.factor=2 replica.fetch.max.bytes=5242880 说明: broker 配置: message.max.bytes (默认:1000000) – broker能接收消息的最大字节数，这个值应该比消费端的fetch.message.max.bytes更小才对，否则broker就会因为消费端无法使用这个消息而挂起。 ...
fastdfs 与 gfs的关系
07-12
FastDFS 和 GFS（Google File System）是两种不同的分布式文件系统。 FastDFS 是一个开源的轻量级分布式文件系统，专门用于存储大型文件。它由两个主要组件组成：跟踪器（tracker）和存储节点（storage node）。跟踪器负责管理存储节点的状态和文件的元数据信息，而存储节点则负责实际存储文件数据。FastDFS 具有高性能、高可靠性和可扩展性的特点，被广泛应用于分布式存储领域。 GFS 是 Google 开发的分布式文件系统，旨在解决大规模数据存储和访问的需求。GFS 的设计目标是支持大规模集群中海量数据的高吞吐量读写操作。它具有类似于传统文件系统的接口，但在底层实现上采用了分布式的方式进行数据存储和管理。GFS 主要用于支持 Google 的各种服务和应用，如 Google 搜索、Gmail 等。 虽然 FastDFS 和 GFS 都是分布式文件系统，但它们是不同的系统，没有直接的关系。FastDFS 主要用于存储大型文件，而 GFS 则是一个更为通用的分布式文件系统，适用于大规模数据存储和高吞吐量的读写操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值