开源分布式系统-TFS-安装及使用简介

最新推荐文章于 2022-09-07 16:48:54 发布
最新推荐文章于 2022-09-07 16:48:54 发布
阅读量864 收藏
点赞数
分类专栏： 技术-存储系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/junefsh/article/details/18089635
版权
本文档详细介绍了如何在CentOS上安装TFS分布式系统，包括VMware Workstation的安装，CentOS的环境配置，以及TFS的依赖安装和系统配置。在安装过程中，详细列出了各个必要的依赖包及其安装方法，如mysql-devel, zlib-devel等。在使用部分，涵盖了NS和DS的配置与启动，以及监控和文件操作测试。" 131485839,18784123,MATLAB实现BP神经网络数据预测教程,"['神经网络', '开发语言', '数据预处理', '机器学习', 'MATLAB编程']
摘要由CSDN通过智能技术生成

安装

注意事项

1） 由于TFS内部并未在32机器上做过测试，因此我们要用64位来安装；
2）安装过程中，如发现缺失某些库，直接用yum list xxx 来查看是否已经安装；
3）当前TFS版本已经升级至2.6.x，但新版本依赖tair(淘宝的缓存开源系统，类似MemCache)

环境配置

1）已经安装了VMware虚拟机工具软件（可以使用其它虚拟机，例如:Visual Box (oracle)）
2）操作系统：CentOS 5.9 (64 位/虚拟机,选择这个版本，是因其gcc版本是4.1.2,TFS严格要求GCC版本)；
3）TFS:release-2.2.16（svn：http://code.taobao.org/svn/tfs/tags/release-2.2.16/)；

安装步骤

  1. 安装虚拟机:
    a)首先下载安装VMw
最低0.47元/天 解锁文章
junefsh
关注
专栏目录
淘宝的开源分布式文件系统TFS
科技D人生
10-13 5615
TFS（Taobao FileSystem）是淘宝团队开源的海量非结构化数据存储设计的分布式系统.构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。高可扩展、高可用、高性能、面向互联网服务。 Taobao File System（TFS）作为淘宝内部使用的分布式文件系统，针对海量小文件的随机读写访问性能做了特殊优化。 满足了淘宝对小文件存储的需求，被广泛地应用在淘宝各项
TFS源码解析四
oklizy的专栏
09-19 3310
NameServer中的Nameserver.cpp
阿里巴巴开源的分布式文件系统 TFS.zip
07-19
TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据。 目前，国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践，Taobao File System（TFS）作为淘宝内部使用的分布式文件系统，针对海量小文件的随机读写访问性能做了特殊优化，承载着淘宝主站所有图片、商品描述等数据存储。 文章首先概括了TFS的特点：最近，淘宝核心系统团队工程师楚材（李震）在其官方博客上撰文（《TFS简介》，以下简称文章）简要介绍了TFS系统的基本情况，引起了社区的关注。 完全扁平化的数据组织结构，抛弃了传统文件系统的目录结构。 在块设备基础上建立自有的文件系统，减少EXT3等文件系统数据碎片带来的性能损耗。 单进程管理单块磁盘的方式，摒除RAID5机制。 带有HA机制的中央控制节点，在安全稳定和性能复杂度之间取得平衡。 尽量缩减元数据大小，将元数据全部加载入内存，提升访问速度。 跨机架和IDC的负载均衡和冗余安全策略。 完全平滑扩容。 当前，TFS在淘宝的应用规模达到“数百台PCServer，PB级数据量，百亿数据级别”，对于其性能参数，楚材透漏： TFS在淘宝的部署环境中前端有两层缓冲，到达TFS系统的请求非常离散，所以TFS内部是没有任何数据的内存缓冲的，包括传统文件系统的内存缓冲也不存在......基本上我们可以达到单块磁盘随机IOPS（即I/O per second）理论最大值的60%左右，整机的输出随盘数增加而线性增加。 TFS的逻辑架构图1如下所示： 图1. TFS逻辑架构图（来源：淘宝核心系统团队博客） 楚材结合架构图做了进一步说明： TFS尚未对最终用户提供传统文件系统API，需要通过TFSClient进行接口访问，现有JAVA、JNI、C、PHP的客户端 TFS的NameServer作为中心控制节点，监控所有数据节点的运行状况，负责读写调度的负载均衡，同时管理一级元数据用来帮助客户端定位需要访问的数据节点 TFS的DataServer作为数据节点，负责数据实际发生的负载均衡和数据冗余，同时管理二级元数据帮助客户端获取真实的业务数据。 标签：分布式  阿里巴巴
TFS分布式文件系统应用
weixin_33842328的博客
10-13 315
TFS是淘宝开源的一套高性能文件存储系统，在阿里广泛应用，除了自建文件系统，在应用上云的大趋势下，还可以使用阿里云的对象存储OSS服务：阿里云对象存储OSS首页 一、关于TFS TFS（Taobao File System）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为...
TFS安装
junefsh的专栏
02-28 1851
注意事项 由于TFS内部并未在32机器上做过测试，因此我们要用64的来安装；安装过程中，如发现缺失某些库，直接用yum list xxx 来查看是否已经安装； 环境配置 操作系统：CentOS 5.9 (64 位/虚拟机,选择这个版本，是因其gcc版本是4.1.2,TFS严格要求GCC版本)TFS:release-2.2.16（或者用：http://code.taobao.org
淘宝分布式系统-TFS学习记录-第一天（编译安装2.6版本）
伈情的专栏
09-26 3303
淘宝TFS学习第一天（编译安装） CentOS安装，版本CentOS5.5-x86_64，安装时选择命令行界面，定制安装勾选开发工具和开发库，gcc版本为：gcc 版本 4.1.2 20080704 (Red Hat 4.1.2-48)安装完成linux后，使用命令：setup  关闭iptable6与iptable以及SElinux更换yum源为163的yum源，更换方法：http:/
开源分布式文件系统
06-16
总体而言，开源分布式文件系统是现代大数据存储和处理不可或缺的基础技术，通过不断的技术创新和优化，它持续满足不断增长的数据存储需求，提供高效的数据管理能力。在理解了分布式文件系统的技术原理和设计策略后，...
Python-TFS是一个模块化快速功能丰富的下一代文件系统
08-10
在"tfs-master"这个压缩包中，很可能是TFS项目的源代码仓库。通常，这样的仓库会包含以下内容： 1. **源代码文件**：包含TFS库的主要Python源码，可能分为不同的模块或子包，用于实现不同的功能。 2. **测试用例**...
tfs php,TFS的原理及应用
weixin_32254411的博客
03-10 142
最近的一个项目由于原先的nas服务停了，所以没有办法，只能迁移到TFS上。这本来是一个内部的分享的。TFS本身也是开源了，所以就拿出来分享一下吧。这里大部分内容出自TFS的开源网站及内部的wiki，下面是TFS的项目TFS是taobao filesystem的简称，是一个分布式的文件系统，目前最新的版本是TFS2.XTFS和NAS相比，具有线性扩容好，高并发性能好。和HDFS相比更适合小文件，和F...
TFS与其他分布式存储系统的对比分析
hyyangyang的专栏
02-02 5768
TFS与其他分布式存储系统的对比分析   1　概述 TFS（Taobao File System），作为目前淘宝内部使用并开源的分布式文件系统，为淘宝提供海量小文件存储以及其他一些功能，被广泛地应用在淘宝各项应用中。其他分布式存储系统，这里主要指的是最近我通过读论文以及网络上的技术文档和分享所了解到的一些大公司所采用的存储系统，其中包括Google的GFS，BigTable（BT），Amaz
查看yum安装的软件的路径
DQchat的博客
08-23 373
1. 先下载要安装的软件 yum install ncurses-devel 2. 提示完成后， 查看rpm包 rpm -qa|grep ncurses-devel 会把这个文件全名称输出来了 ncurses-devel-5.9-14.20130511.el7_4.x86_64 3. 执行 rpm -ql ncurses-devel-5.9-14.20130511.el7_4.x86_64...
源代码管理工具TFS2013安装与使用
09-04 622
最近公司新开发一个项目要用微软的TFS2013进行项目的源代码管理，以前只是用过SVN，从来没有用过TFS，所以在网上百度、谷歌了好一阵子来查看怎么安装和配置，还好花了一天时间总算是初步的搞定了，下面就简单介绍一下安装和配置过程。 一、安装和配置过程介绍 要安装TFS2013当然要先进行下载了，可以在下面的地址下载：http://www.m...
对象存储ceph, GlusterFS, TFS, minio存储方案对比
justlpf的专栏
09-07 7897
（）存储的发展，根据不同的阶段诞生了不同的存储解决方案，每一种存储都有它当时的历史诞生的环境以及应用场景，解决的问题和优缺点。综上、企业中不同场景使用的存储，使用表现形式无非是这三种：磁盘（块存储设备），挂载至目录像本地文件一样使用（文件共享存储），通过API向存储系统中上传PUT和下载GET文件（对象存储）。
TFS：新一代开源文件系统
博客
05-24 2055
原文：https://github.com/redox-os/tfs#design-goals/ 翻译：王江平 译者注：这篇文章主要对TFS的设计目标和一些常见的问题进行了描述，结尾部分提供了部分与TFS相关的资源供读者参考。TFS是一款模块化，快速且功能丰富的新一代文件系统，采用现代技术使其具有高性能，高空间使用率和高扩展性，代码托管在Github上。TFS是由于需要一个用于Red...
TFS文件系统的安装、配置、启动
姜姜！
07-19 2949
TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据的存储；TFS使用C++语言开发，需要运行在64bit Linux OS上，TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛地应用 在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。...
ubuntu16.04安装ncurses-devel
热门推荐
Welcome
02-03 2万+
在lubuntu16.04中编译内核时，使用make menuconfig发生错误，说没有安装ncurses-devel。 使用apt install ncurses-devel命令安装该库，没有，然后又使用apt install ncurses，还是没有该库。 说明有可能库名字在新的ubuntu版本中发生改变，因此到底名字变成什么了？？？ 可以判定Ubuntu软件管理器服务端有作修改过。所
淘宝的分布式文件系统TFS研究现状
最新发布
06-03
淘宝的分布式文件系统 TFS（Taobao File System）是阿里巴巴集团自主研发的一款分布式文件系统，旨在为淘宝等电商平台提供高可用、高性能、高扩展性的文件存储解决方案。目前，TFS 已经在阿里巴巴内部广泛应用，并且开源于 Github 上，成为了一个独立的开源项目。 TFS 的研究现状主要集中在以下几个方面： 1. 性能优化：TFS 需要处理大量的文件读写请求，因此性能优化是非常重要的一个方面。研究人员一直在探索如何提高 TFS 的读写性能，包括数据分片、负载均衡、缓存优化等方面。 2. 可靠性保障：TFS 需要具备高可用、高可靠的特点，以保证数据的安全性和稳定性。研究人员一直在探索如何提高 TFS 的可靠性，包括数据备份、容错机制、故障恢复等方面。 3. 其他特性：TFS 还具备多种特性，如多租户支持、文件共享、权限管理等。研究人员也在探索如何进一步完善这些特性，以满足更多的业务需求。 总的来说，TFS 作为一款分布式文件系统，在阿里巴巴集团内部和开源社区都拥有广泛的用户和贡献者。未来，TFS 还有很大的发展空间和挑战，需要持续进行技术创新和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值