![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习总结
文章平均质量分 67
Schear_Loe
大数据分析从业者,目前工作业务涉及运营商流量分析,业务能力尚可,努力提升专业能力ing
展开
-
关于独立任务管理程序获取Yarn任务ID的一些思路
很久以前的实现思路,非常简陋原创 2023-07-10 21:00:00 · 207 阅读 · 0 评论 -
Scala lazy 变量的实际调用时间
Scala lazy 变量的实际调用时间。原创 2023-06-17 11:14:40 · 130 阅读 · 0 评论 -
Hello Flink(一)
其实这并不是我第一次接触Flink,但是之前都是浅浅的了解,这次准备好好认识一下这位公认的Spark的强大对手——Flink!原创 2023-04-24 12:00:00 · 396 阅读 · 0 评论 -
Hello Flink (二)
胡汉三带着Java回来了,毕竟官网的文档示例都是Java,咱还是得虚心从Java开始。原创 2023-04-24 23:50:12 · 46 阅读 · 0 评论 -
Hadoop
Hadoop仅完善了Yarn、Hive、kettle部分,其余待完善HDFS设计思想优缺点NameNodeDataNodeSecondaryNameNodehdfs的读写流程NameNode和snn的工作机制可靠性策略块的副本放置策略checkPoint动态增删节点离开安全模式YarnResourceManager职责1、资源调度2、资源监视3、App...原创 2019-05-21 11:41:40 · 119 阅读 · 0 评论 -
Erasure Code - EC纠删码原理
Erasure Code - EC纠删码原理一、什么是Erasure CodeErasure Code(EC),即纠删码,是一种前向错误纠正技术(Forward Error Correction,FEC,说明见后附录),主要应用在网络传输中避免包的丢失, 存储系统利用它来提高 存储 可靠性。相比多副本复制而言, 纠删码能够以更小的数据冗余度获得更高数据可靠性, 但编码方式较复杂,需要大量计算 ...原创 2019-08-14 16:19:21 · 718 阅读 · 0 评论 -
HDFS中的EC
HDFS中的ECHadoop 3.0中的HDFS擦除编码(EC)是我们在早期版本的Hadoop中遇到的问题的解决方案,这只是它的3倍复制因素,这是保护我们的数据的最简单方法,即使在Datanode失败但需要额外的存储太多了。现在,在EC存储开销中神奇地减少到50%,这是因为HDFS默认的3x复制因子而提前200%,这似乎是额外的工作/负载来存储除了原始数据块之外的两个额外块,具有相同的资源量原始...原创 2019-08-14 16:25:56 · 3367 阅读 · 0 评论 -
HDFS Federation 联邦机制
HDFS Federation 联邦机制1、HDFS的层级NameSpace: Directories, Files, BlocksBlock Storage: Block Management, Storage命名空间由目录,文件和块组成。它支持所有与命名空间相关的文件系统操作,例如创建,删除,修改和列出文件和目录。块存储服务,包括两部分:块管理(在Namenod...原创 2019-08-14 16:28:05 · 3289 阅读 · 0 评论