架构
文章平均质量分 79
黑眼圈@~@
不断的学习只为骄傲的活着。
展开
-
CDH6.3.2防止被攻击,打补丁(未授权漏洞)
对CDH集群的HDFS增加身份验证原创 2022-12-13 22:45:11 · 1115 阅读 · 3 评论 -
Alluxio功能测试
1、功能测试0)查看命令alluxio fs ls /cos alluxio fs cat /cos/t1)上传文件到alluxioalluxio fs copyFromLocal /local /alluxio 下载到本地 alluxio fs copyToLocal /alluxio /local本地上传数据到alluxio映射的cos上。alluxio fs copyFromLocal dt=2021-09-06 /cos/shaiwu_check/2)原创 2021-09-13 10:23:43 · 599 阅读 · 0 评论 -
Alluxio基础知识
本章是记录Alluxio,我个人认为很有用的知识点。首次玩Alluxio的人可以看看。对Alluxio架构使用有疑问的可直接看问答。如果有其他疑问欢迎评论区提问。我使用的是Alluxio的1.8版本。相对比较老。参数没有新版本全。(友情提示,官网有的参数不准,选择1.8版本的文档,里面竟然有2.0以后的参数,导致参数使用后无法找到类)Alluxio分为3层最高MEM中层SSD底层HDD系统架构分为3块Master:负责集群元数据信息。Worker:主要负责存储。可原创 2021-09-13 10:16:50 · 421 阅读 · 0 评论 -
Alluxio调研
参考:Alluxio官网,腾讯云,CSDN一、Alluxio简介Alluxio 是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。 它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。 这还使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。在大数据生态系统中,Alluxio 位于数据驱动框架或应用(如 Apache Spark、Pr转载 2021-09-09 15:13:22 · 249 阅读 · 0 评论