- 博客(11)
- 资源 (6)
- 收藏
- 关注
原创 Apache Uniffle 学习 —— ShuffleManagerGrpcService
ShuffleManager service 是启动在计算引擎的 Application Master 中,为这个 Application 处理 RSS 特定的逻辑。// 当 Fetch 数据失败时,汇报 fetch 失败,由 ShuffleManagerGrpcService 决定是否要进行 stageRetry// 当发生 stage retry 时,获取特定 shuffleId 的,由 RssShuffleManager 自己管理的 partition 到 ShuffleServer 的映射信息。
2024-08-12 11:12:01 827
原创 HCFSFuse——一个万能的Fuse
背景HCFSFuse 是基于 Alluxio Fuse 进行分层扩展而实现的一个 Fuse 程序,区别于 Alluxio,HCFSFuse 除了保留 Alluxio Fuse 原有的访问 Alluxio 集群的功能外,还提供了访问 HDFS、Ozone、aws、oss、cos、CephFS 等实现 HCFS(Hadoop compatible Filesystem) 的存储系统。现如今,HCFS 协议已经在大数据生态成为了一个文件系统标准,在其它领域 HCFS 协议也正在扩大其影响力,因此,使用 HCFS
2021-02-03 14:20:19 1331 2
原创 本人站外相关文章资源推荐
语雀 https://www.yuque.com/maobaolong/blogHow to Build a new Under Filesystem in Alluxio: Apache Ozone as an Examplehttps://www.youtube.com/watch?v=D65V3WpS5zQ&t=476s
2020-08-13 09:09:23 692
原创 用 Alluxio(Tachyon) 作为京东计算框架的容错可插拔优化组件
京东介绍![jd-pic](http://img.blog.csdn.net/20180223095825725?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbWFvYmFvbG9uZw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)公司介绍京东是实体经济...
2018-02-19 17:38:07 5765
原创 alluxio rpc 分析
RPC 通信一个类扩展了 AbstractThriftClient 类将成为RPC客户端。使用方法 retryRPC 发起一个 PRC 调用, 然后实现接口Service.Iface的抽象方法的ServiceHandler将会收到调用。用来统一捕获RPC调用过程中的异常, 比较好的方法是使用静态方法 RpcUtils.call(), 提供一个实例实现RpcCallable 接口的call方法来处理回
2017-01-18 17:16:21 834
原创 alluxio heartbeat分析
心跳线程心跳线程,HeartbeatThread类作为心跳后台线程。线程主体是个可打断的循环,循环中,每一个滴答(tick)会心跳(heartbeat)一次。如果线程被打断,心跳线程结束。 心跳线程由心跳定时器(mTimer)和心跳执行者(mExecutor)组成。心跳定时器要实现接口HeartbeatTimer,心跳执行者要实现接口HeartbeatExecutor。心跳线程表: 线程名
2017-01-17 19:50:01 600
原创 linux命令
linux 常用命令* history |grep scp* tail -f log/UGDAP.log* 只显示文件名:ls -l | grep ^[^d] | awk ‘{print 8}’ 只显示文件夹名: ls -l |grep ^d | awk ‘{print8}’ 只显示文件夹名: ls -l |grep ^d | awk ‘{print 8}’ 或者是 ls
2016-11-21 09:38:59 661
转载 Linux操作系统文件系统基础知识详解
Linux操作系统文件系统基础知识详解 一 、Linux文件结构 文件结构是文件存放在磁盘等存贮设备上的组织方法。主要体现在对文件和目录的组织上。 目录提供了管理文件的一个方便而有效的途径。 Linux使用标准的目录结构,在安装的时候,安装程序就已经为用户创建了文件系统和完整而固定的目录组成形式
2013-05-30 23:30:30 870
原创 Platform Command Framework
http://wiki.eclipse.org/Platform_Command_Framework Platform Command FrameworkFrom EclipsepediaJump to: navigation, search<!-- start content -->Contents[hide]1 Architect...
2012-08-09 01:18:27 384
java使用dll jni编程详细实例源码(java+vc)
2012-12-25
盗取U盘数据存入指定文件夹
2010-03-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人