- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 对证券行业离线数仓的思考
事务事实表周期快照事实表累计快照事实表时间/日期离散时间事务点以有规律的、可预测的间隔产生快照用于时间跨度不确定的不断变化的工作流日期维度事务日期快照日期相关业务过程涉及的多个日期粒度每行代表实体的一个事务每行代表时间周期的一个实体每行代表代表一个实体的生命周期事实事务事实累积事实相关业务过程事实和时间间隔事实事实表加载插入插入插入与更新事实表更新不更新不更新业务过程变更时更新。
2023-02-27 14:29:33
964
1
原创 8.MapReduce源码解析（超详细）
MapReduce源码解析SplitMapTaskKVBufferSpillMergeReduceTask
2022-09-06 14:11:23
1185
原创 6.Hadoop之HDFS（二）（Hadoop架构和特性）
Hadoop新特性，Hadoop架构，HDFS架构，NameNode，DataNode(DN)，SecondaryNameNode，QJM，ZKFC，脑裂brain-split，Hadoop-Federation，## Hadoop3新特性### **1. Erasure Encoding**
2022-08-23 18:22:01
229
原创 5.Hadoop之HDFS（一）（Hadoop进化史与HDFS）
Hadoop之HDFS（一）（Hadoop进化史与HDFS）Hadoop的前世今生Hadoop进化史分布式文件系统架构文件切分思想Block拆分标准Block数据安全HDFS的特点- a)高容错性 - i.保存多个副本，且提供容错机制。 - ii.副本丢失或宕机自动恢复。默认存3份。- b)运行在廉价的机器上（商用机） - i.通过副本提高可靠性 - ii.提供了容错和恢复机制- c)适合批处理 - i.移动计算而非数据 - ii.数据位置暴露给计算框架
2022-08-22 15:45:39
476
原创 4.十大排序算法与大数据思维
一个算法执行所耗费的时间，从理论上是不能算出来的，必须上机运行测试才能知道。但我们不可能也没有必要对每个算法都上机测试，只需知道哪个算法花费的时间多，哪个算法花费的时间少就可以了。并且一个算法花费的时间与算法中语句的执行次数成正比例，哪个算法中语句执行次数多，它花费时间就多。为了描述时间频度变化引起的变化规律，引入时间复杂度概念。有1T数据，这些数据中心有两行数据是重复的，如果找出重复行。时间复杂度去估算算法优劣的时候注重的是算法的潜力。如何用1G内存的电脑对1T的数据进行排序。
2022-08-19 15:03:33
451
原创 3.数据的一致性与一致性算法（CAP原则、Paxos算法、Raft算法、ZAB协议）
一致性与一致性算法、CAP原则、Paxos算法、Raft算法、ZAB协议
2022-08-19 11:12:31
1464
原创 2.Nginx从0基础到入门
Nginx是一款轻量级的Web 服务器/反向代理服务器占有内存少，并发能力强官方测试nginx能够支撑5万并发链接，并且CPU、内存等资源消耗却非常低，运行非常稳定。Tengine淘宝基于Nginx研发的web服务器。本文从使用场景、源码安装、负载均衡、资源静态化、虚拟主机、Session一致性这些方面进行详细讲解...
2022-08-18 17:37:52
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人