大数据
文章平均质量分 91
麦晓宇
个人从事程序化交易、ios,android开发,逆向
展开
-
LSM树和Elasticsearch的索引写入机制
LSM树(Log Structured Merge Tree,结构化合并树)的思想非常朴素,就是将对数据的修改增量保持在内存中,达到指定的大小限制后将这些修改操作批量写入磁盘(由此提升了写性能),是一种基于硬盘的数据结构,与B-tree相比,能显著地减少硬盘磁盘臂的开销。是B树的持久化实现,不仅支持单条记录的增、删、读、改操作,还支持顺序扫描(B+树的叶子节点之间的指针),对应的存储系统就是关系数据库(Mysql等)。对比LSM,ES的这种segment分段写,再合并的机制,和LSM的思想是一致的。原创 2022-09-10 17:22:39 · 1678 阅读 · 0 评论 -
当我们谈论批流一体,我们在谈论什么?
目录当我们谈论批流一体,我们在谈论什么? 一、流计算与批计算 一)流计算与批计算 二)流计算与批计算的比较 三)为什么要搞流批一体 二、流批一体的场景 一)数据集成的流批一体 二)数仓架构的流批一体 三)数据湖的流批一体 四)存储的流批一体 1.Pulsar 2.Hologres 1)Hologres的架构图 2)Hologres的流批一体 三、Flink中的流批一体 一)流批一体的DataStream 1.目前的转载 2022-05-09 18:46:20 · 835 阅读 · 0 评论 -
硬啃 :读完这100篇论文,你就能成大数据高手
开源(Open Source)用之于大数据技术,其作用有二:一方面,在大数据技术变革之路上,开源在众人之力和众人之智推动下,摧枯拉朽,吐故纳新,扮演着非常重要的推动作用。另一方面,开源也给大数据技术构建了一个异常复杂的生态系统。每一天,都有一大堆“新”框架、“新”类库或“新”工具,犹如雨后春笋般涌出,乱花渐欲“迷”人眼。为了掌控住这些“新玩意”,数据分析的达人们不得不“殚精竭虑”地“学而时习之”。转载 2016-07-01 21:05:58 · 2312 阅读 · 0 评论 -
大数据
最近有不少质疑大数据的声音,这些质疑有一定的道理,但结论有些以偏概全,应该具体问题具体分析。对大数据的疑问和抗拒往往是因为对其不了解,需要真正了解之后才能得出比较客观的结论。大数据是一个比较宽泛的概念,它包含大数据存储和大数据计算,其中大数据计算可大致分为计算逻辑相对简单的大数据统计,以及计算逻辑相对复杂的大数据预测。下面分别就以上三个领域简要分析一下:第一,大数据存储解决转载 2017-12-07 21:43:08 · 410 阅读 · 0 评论 -
小米架构师:亿级大数据实时分析与工具选型
刚毕业时我有幸去了Oracle公司做企业软件数据库,成为Oracle中国第一批研发员工。后来做了几年,觉得还是想做互联网软件,就去了微软,工作了十年左右。在那做两个项目,一个是搜索,一个是广告平台。去年一月份加入小米公司,现在主要负责搭建广告平台和大数据平台。所以今天我会结合我在小米、微软的一些大数据实践,给大家谈谈我对大数据的理解,并介绍一些好用的工具。本次演讲的内容大致分为以下转载 2017-12-27 07:24:34 · 2582 阅读 · 0 评论