TFS分布式文件系统

最新推荐文章于 2023-09-19 23:09:31 发布
最新推荐文章于 2023-09-19 23:09:31 发布
阅读量75 收藏
点赞数
原文链接：http://www.cnblogs.com/pengyicun/p/4002397.html
版权

TFS是由淘宝开发的一个分布式文件系统，详细情况请参见TFS项目主页。当前，TFS的最新版本为V2.6.6，本系列涉及讨论的TFS版本为V2.2.8（tfs-VER：V2.0.1）。

TFS有三个大的稳定版本，V1.3、V2.0和V2.2。在使用时，NameServer、DataServer应该为同一个版本，否则，有可能出现协议不兼容的情况。2.6版本变化较大，与上述的三个版本，其数据存储的格式都不兼容，不能直接升级。

以下为讨论的提纲：

TFS的文档请参考博客

转载于:https://www.cnblogs.com/pengyicun/p/4002397.html

weixin_34248705
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
文件系统：淘宝 TFS简介
GIS摆渡人
04-03 351
TFS is a distributed file system developed by Taobao.com.Aiming at a distributed file system with high availability, high performance and low cost, TFS is a linux-based file system which provides high reliability and concurrent access by redundancy, backup
centOS下安装tfs基本步骤备份
guotao521的专栏
04-22 2022
rpm -i libstdc++-devel-4.4.7-11.el6.x86_64.rpm rpm -i libstdc++-4.4.7-11.el6.x86_64.rpm rpm -i gcc-c++-4.4.7-11.el6.x86_64.rpm rpm -i gcc-4.4.7-11.el6.x86_64.rpm rpm -i autoconf-2.63-5.1.el6.noarc
淘宝分布式文件系统TFS安装配置手册
weixin_34293059的博客
02-19 452
TFS文件名的结构TFS的文件名由块号和文件号通过某种对应关系组成，最大长度为18字节。文件名固定以T开始，第二字节为该集群的编号(可以在配置项中指定，取值范围 1~9)。余下的字节由Block ID和File ID通过一定的编码方式得到。文件名由客户端程序进行编码和解码，它映射方式如下图：TFS客户程序在读文件的时候通过将文件名转换为BlockID和FileID信息，然后可...
淘宝分布式文件存储系统(一) -TFS
qq_62989250的博客
09-12 754
高性能服务器之淘宝分布式文件存储系统(核心引擎) 解析
淘宝分布式文件存储系统( 三 ) -TFS
最新发布
qq_62989250的博客
09-19 950
淘宝分布式文件系统 映射类 mmap_file.h 的源码实现，同时对进行测试。
淘宝TFS分布式文件系统安装说明手册.doc
06-04
淘宝TFS分布式文件系统安装说明手册
分布式文件系统FastDFS架构剖析
03-02
准确地讲，GoogleFS以及FastDFS、mogileFS、HDFS、TFS等类GoogleFS都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。FastDFS是为互联网应用量身定做的分布式文件系统，充分考虑了冗余备份、负载均衡...
分布式文件系统-TFS1
08-08
分布式文件系统-TFS1
TFS集群文件系统
Mr Ben
10-31 1224
1.TFS淘宝文件系统，Taobao File System 解决海量并发小文件的系统噩梦 对于淘宝网这类型访问量极高的电子交易网站来说，对图片系统的要求和日常的照片分享完全不在一个级别。日常照片分享往往集中在几个有限的亲朋好友之间，访问量不会特别高，而淘宝网商铺中的商品照片，尤其是热门商品，图片的访问流量其实是非常大的。而且对于卖家来说，图片远胜于文字描述，因此卖家也
TFS(Taobao File System)安装办法
weixin_30588827的博客
12-09 309
TFS（Taobao File System）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器 集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛地应用 在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的...
阿里巴巴开源的分布式文件系统 TFS.zip
07-19
TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据。 目前，国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践，Taobao File System（TFS）作为淘宝内部使用的分布式文件系统，针对海量小文件的随机读写访问性能做了特殊优化，承载着淘宝主站所有图片、商品描述等数据存储。 文章首先概括了TFS的特点：最近，淘宝核心系统团队工程师楚材（李震）在其官方博客上撰文（《TFS简介》，以下简称文章）简要介绍了TFS系统的基本情况，引起了社区的关注。 完全扁平化的数据组织结构，抛弃了传统文件系统的目录结构。 在块设备基础上建立自有的文件系统，减少EXT3等文件系统数据碎片带来的性能损耗。 单进程管理单块磁盘的方式，摒除RAID5机制。 带有HA机制的中央控制节点，在安全稳定和性能复杂度之间取得平衡。 尽量缩减元数据大小，将元数据全部加载入内存，提升访问速度。 跨机架和IDC的负载均衡和冗余安全策略。 完全平滑扩容。 当前，TFS在淘宝的应用规模达到“数百台PCServer，PB级数据量，百亿数据级别”，对于其性能参数，楚材透漏： TFS在淘宝的部署环境中前端有两层缓冲，到达TFS系统的请求非常离散，所以TFS内部是没有任何数据的内存缓冲的，包括传统文件系统的内存缓冲也不存在......基本上我们可以达到单块磁盘随机IOPS（即I/O per second）理论最大值的60%左右，整机的输出随盘数增加而线性增加。 TFS的逻辑架构图1如下所示： 图1. TFS逻辑架构图（来源：淘宝核心系统团队博客） 楚材结合架构图做了进一步说明： TFS尚未对最终用户提供传统文件系统API，需要通过TFSClient进行接口访问，现有JAVA、JNI、C、PHP的客户端 TFS的NameServer作为中心控制节点，监控所有数据节点的运行状况，负责读写调度的负载均衡，同时管理一级元数据用来帮助客户端定位需要访问的数据节点 TFS的DataServer作为数据节点，负责数据实际发生的负载均衡和数据冗余，同时管理二级元数据帮助客户端获取真实的业务数据。 标签：分布式  阿里巴巴
7种主流分布式文件系统介绍
04-08
整理了当前最主流的7种分布式文件系统（FastDFS MogileFS HDFS`TFS MooseFS KFS Ceph）的概要介绍，可以使你快速了解当前分布式文件系统的特性、各自文件系统实现目标及应用场景，了解这些分布式文件系统的架构特点。
TFS（Taobao File System）团队CODE协作工具
qq_43476358的博客
10-26 1434
TFS（Taobao File System）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，TFS由nameserver(NS)、dataserver(DS)、client三个部分组成，详细设计原理参考[丢失link] TFS适用场景 TFS提供海量文件的可靠存储，尤其适合海量小文件的存储；TFS没有传统文件系统的目录树结构，所有文件处于一个扁平化的名字空间；TFS不支持posix接口，必须通过TFS提供的客户端API(read/write/delete)来读、写、删文件。 TFS最大集群
淘宝分布式文件存储系统：TFS
weixin_33691817的博客
02-03 487
TFS ——分布式文件存储系统   TFS（Taobao File System）是淘宝针对海量非结构化数据存储设计的分布式系统，构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。   TFS架构 与Tair类似，TFS也是由NameServer和DataServer组成： 为了容灾，NameServer采用了HA结构，即两台机器互为热备，同时运行，一台为主，一台...
淘宝的开源分布式文件系统TFS
weixin_33972649的博客
10-13 479
TFS（Taobao FileSystem）是淘宝团队开源的海量非结构化数据存储设计的分布式系统.构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。高可扩展、高可用、高性能、面向互联网服务。 Taobao File System（TFS）作为淘宝内部使用的分布式文件系统，针对海量小文件的随机读写访问性能做了特殊优化。 满足了淘宝对小文件存储的需求，被广泛地应用在淘宝各...
TFS分布式文件系统应用
weixin_33842328的博客
10-13 285
TFS是淘宝开源的一套高性能文件存储系统，在阿里广泛应用，除了自建文件系统，在应用上云的大趋势下，还可以使用阿里云的对象存储OSS服务：阿里云对象存储OSS首页 一、关于TFS TFS（Taobao File System）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为...
TFS分布式文件系统学习总结(2)-文件系统文件结构详解
hejm0822的博客
08-12 1006
本小节主要是介绍基于dataserver上的文件结构进行详解，在每个dataserver（一个磁盘运行一个ds，一台服务器可以运行多个ds实例）上都会维护着一份文件系统的元信息以及数据信息。下面我们先对dataserver中关于文件存放的整体结构进行简要描述，然后再对每个文件结构进行细讲。 dataserver整体文件结构如下： 一个dataserver有一个归属于它自身的磁盘，一个磁盘会划分...
Taobao分布式文件系统TFS简析
热门推荐
刘爱贵的专栏
10-17 4万+
TFS官方称“TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据”。我个人花了点时间研究一下TFS的源码和相关技术文档，TFS与目前一些主流的开源分布式文件系统设计思想是相似的，如HDFS, MFS, KFS, Sector。TFS的高可扩展、高可用性是很好的，然而也存在一定不足，如通用性、用户接口、性能等方面。我这里粗略罗列一些自己认为TFS的不足之处，不当之处还请大家指正。
TFS淘宝文件系统原理
雨和你的故事
03-15 4756
TFS（Taobao !FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的可用。
比较淘宝TFS分布式文件系统、cstor分布式文件系统与阿里云分布式文件系统有何异同
05-15
淘宝TFS分布式文件系统、cstor分布式文件系统与阿里云分布式文件系统都是分布式文件系统，其主要目的是提供高可用性、高性能、高可靠性的数据存储服务，为企业提供数据存储、备份、恢复、共享等功能。 以下是它们的异同点： 异同点： 1. 架构：三者都是分布式文件系统，采用类似的架构，都包含了元数据服务、数据服务等组件。 2. 功能：三者都提供了文件存储、备份、恢复、共享等功能。 3. 性能：三者都能提供高性能的数据存储服务。 4. 适用场景：三者都适用于大规模数据存储和分布式计算等场景。 不同点： 1. 开源：TFS和cstor是开源的分布式文件系统，而阿里云分布式文件系统不是开源的。 2. 使用范围：TFS主要在淘宝内部使用，cstor主要在Openshift容器平台上使用，而阿里云分布式文件系统则是面向公网用户的云存储服务。 3. 扩展性：三者的扩展性也有所不同，TFS和cstor相对来说比较容易扩展，而阿里云分布式文件系统则需要借助阿里云的云资源才能进行扩展。 4. 数据安全性：TFS和cstor提供了数据冗余机制来保证数据的可靠性，而阿里云分布式文件系统则提供了多重备份和加密保护等安全机制来保证数据的安全性。 综上所述，虽然三者都是分布式文件系统，但它们的使用范围、开源情况、扩展性和数据安全性等方面都有所不同，选择时需要根据实际需求进行选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值