Tachyon源码结构分析（一）

最新推荐文章于 2021-08-25 21:07:29 发布
VIP文章 最新推荐文章于 2021-08-25 21:07:29 发布
阅读量2.6k 收藏 3
点赞数 2
分类专栏： Tachyon技术专栏 文章标签： Tachyon
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014252240/article/details/44160017
版权

发布人：南京大学PASA大数据实验室舒鹏


前言

在上一篇博客中，我们介绍了Tachyon的安装、配置和使用，用户已经对Tachyon有了初步的了解。从本篇开始，我们将对Tachyon的源码结构进行分析，让用户进一步更深入的了解Tachyon的工作机制。由于源码分析的内容比较多，我们将分成多篇来详细阐述。

 

版本选择

Tachyon目前的最新发布版为0.6.0，最新开发版为0.7.0-SNAPSHOT。本篇我们选择的Tachyon版本为0.6.0。

官方链接：Tachyon-0.6.0

 

概述

Tachyon在系统架构上由Client、Master、Worker三个核心部

最低0.47元/天 解锁文章
Fluid开源社区
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Tachyon的安装、配置和使用
南京大学PASA大数据实验室专栏
12-29 4803
0. 前言 在上一篇博文《Tachyon简介》中，我们简要地介绍了Tachyon，一个以内存为中心的分布式文件系统，及其一些基本工作原理。这一次，我们重点介绍如何在你自己的单机或集群环境下去安装、配置和使用Tachyon。具体地，会从怎样编译源码开始，到各项配置、命令的说明，再加上API的使用举例，让大家能够一步步地把Tachyon用起来。
Tachyon源码结构分析（二）
南京大学PASA大数据实验室专栏
03-16 3080
在上一篇《Tachyon源码结构分析（一）》中，我们介绍了Tachyon的四大模块（Client模块、Master模块、Worker模块以及Common模块）的基本功能及其相互关系。从本篇开始我们开始介绍各个模块的具体功能实现以及各个模块的源码结构。本篇接下来主要对Common模块以及Client模块进行源码结构分析。
Tachyon源码解读一：master部分
weixin_30625691的博客
12-03 73
一、Conf 大多系统在启动的时候，必须读取配置信息。这里从配置文件开始。 在路径tachyon/conf/Utils是所有配置类的基类，其中申明了基本属性类型(Boolean、Int、Long、String四种类型)。它有四个子类。一下是类关系图 CommonConf是Master和Worker的公共配置信息 publicfinal...
Tachyon源码结构分析（三）
南京大学PASA大数据实验室专栏
03-24 1791
在上一篇《Tachyon源码结构分析（二）》中，我们具体分析了Common模块和Client模块的源码结构，本篇接着上一篇内容介绍Master模块的源码结构分析。
Faiss源码剖析（一）：类结构分析
Dramer110的专栏
11-13 3179
Faiss是由Facebook AI Research研发的为稠密向量提供高效相似度搜索和聚类的框架。通过其官方给出的新手指南，我们可以快速地体验Faiss的基本功能。但是，相信大多数人看完官方的新手指南后，对Faiss很多的概念还是有点模糊、无法清晰的明确这些概念之间的边界。比如说在Faiss中，Quantizer是个什么概念、其与Index之间的联系是什么；还有各种Index之间的关系又是什么...
Tachyon详细讲解
06-27
Tachyon详细讲解
HiveonSpark&Tachyon解析
03-01
在上海SparkMeetup第三次聚会上，陈建忠就HiveonSpark和AdvancedAnalyticswithSpark两个话题展开讨论，而史鸣飞则分享了Tachyon相关实践。在2015年3月14日的上海SparkMeetup第三次聚会上，Cloudera公司副总裁苗凯翔...
tachyon 介绍
02-18
Tachyon是以内存为中心的分布式文件系统，能够为集群计算框架（如：Spark，MapReduce等）提供内存级速度的跨集群文件共享服务。本文档让你快速入门
yunti2tachyon:杰出的tachyon的云梯（tachyon原始笔记）-源码通
03-24
我的tachyon源码笔记 在通常的hadoop1 MapReduce作业（MR1作业）中，数据必须经过一轮Mapper，一轮减速器的处理过程，然后将其结果写入HDFS，其结果才能被下一轮的作业进一步使用和处理。在hadoop2 MapReduce作业中...
Faiss之聚类源码解析
半城月的专栏
02-15 3560
聚类是Faiss比较基础的一步，在faiss的索引中用途广泛，所有IVF索引的第一步就是先聚类。本文从源码角度解析faiss，一起研读聚类在Faiss中的实现。
HCIA Storage学习笔记
每天学习一点点的博客
07-24 1773
存储发展史： DAS->NAS->SAN（FC SAN：服务器->FC交换机->FC SAN控制器->磁盘阵列、IP SAN：服务器->以太网交换机（IP链路）->iSCSI存储控制器->磁盘阵列）->分布式存储->云存储（软件定义存储） 存储架构发展趋势：融合存储（将NAS和SAN结合起来，简化存储管理，提高利用率） 华为存储解决方案 ...
FAISS
mao_feng的博客
04-01 4695
多线程以充分利用多核性能并在多路 GPU 上进行并行搜索
3.Tachyon系统架构
艾文
02-18 572
1.1  Tachyon的整体架构 Tachyon整体架构采用Master-Worker模式，运行中的Tachyon系统由一个Master和多个Worker构成。Tachyon Master支持Zookeeper进行容错。     Tachyon有三个主要的组件：Master，Client，Worker。   1)       Master节点：主要职责是保存并维护文件系统的元数据信息
faiss技术积累
杨树的博客
12-18 1万+
Faiss教程：入门             https://www.cnblogs.com/houkai/p/9316129.html Faiss教程：基础             https://www.cnblogs.com/houkai/p/9316136.html Faiss教程：GPU             https://www.cnblogs.com/houkai/p/931...
使用VMD中的Tachyon渲染出透明逼真的水盒子效果
mt811的博客
08-25 1万+
1.概述 在本教程中将重点向你展示如何通过VMD中的Tachyon制作一个高质量的可视化图像。本文假设你对vmd有一定了解（最基本的打开载入分子即可）。关于vmd制作图像的快速入门中文教程，本例所使用的工具和示例文件请见文末。 2.工具链 2.1.Tychyon Tachyon是为了利用多个计算机核心的优势而编写的光线追踪程序，其运行速度非常快，可以利用多个CPU核心的优势，快速生成高质量的图像，一般来说，光线追踪渲染器使用逼真的照明模型，可以正确地模拟阴影，这种照明与传统的点光源照明和定向照明配合使用，增
【特征匹配】PCA-SIFT原理及源码解析
热门推荐
勿在浮砂筑高台
10-16 1万+
相关： SIFT原理与源码解析 SURF原理与源码解析 ORB原理与源码解析 FAST原理与源码解析 BRIEF描述子原理与源码解析 Harris原理与源码解析 转载请注明出处：http://blog.csdn.net/luoshixian099/article/details/49174869PCA-SIFT是对传统SIFT算法的改进，由Yan Ke等人
Tachyon--以内存为核心的开源分布式存储系统
karamos的专栏
01-15 761
Tachyon是一个以内存为核心的开源分布式存储系统，也是目前发展最迅速的开源大数据项目之一。Tachyon为不同的大数据计算框架（如Apache Spark，Hadoop MapReduce, Apache Flink等）提供可靠的内存级的数据共享服务。此外，Tachyon还能够整合众多现有的存储系统（如Amazon S3, Apache HDFS, RedHat GlusterFS, Ope...
深入理解计算机系统：1.6 存储设备的层级（Storage Devices Form a Hierarchy）
啃梨的博客
08-18 618
1.6 存储设备的层级 一般的情况，会选择在处理器和大容量速度慢的存储设备之间增加一个小容量速度快的存储设备，事实上，在每一台计算机系统中存储设备的层级关系如图1.9所示。当我们从层级的顶端到底层，设备的容量会越来越大，速度越来越慢，价格越来越便宜。寄存器作为层级的顶端，也是第0级或L0.这里展示的是高速缓存的L1~L3，主存在第4层，本地硬盘在第5层，外设在第6层。 存储设备分层的主要目的是高...
范斌-大数据存储系统Tachyon的最新进展与用例分析
10-30
该文档来自阿帕奇2015中国路演。范斌发表了题为“大数据存储系统Tachyon的最新进展与用例分析”的主题演讲，欢迎下载！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值