![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 87
天才代号23
天生的蠢材
展开
-
降本增笑?记一次Doris故障排查
上个月某一天流量晚高峰的时候,Doris 集群突然出现告警,CPU 使用率高于 90%,从七点初到八点多,持续了一个多小时。这是之前没有遇到过的,影响了线上环境直播功能很大一部分的数据查询,算是一次比较严重的事故。当天晚上的集群维护我没有参与,第二天才开始排查故障原因,下面是梳理了整个排查的思路和过程。原创 2024-01-13 12:32:39 · 1216 阅读 · 0 评论 -
DataX 导出 Hive 数据时日志错误排查
简单的小知识,提高错误排查效率原创 2023-12-29 13:11:23 · 645 阅读 · 0 评论 -
【Doris】双集群数据同步,写在2.0发布的前夕
Doris双集群数据同步思路原创 2023-08-08 10:36:29 · 495 阅读 · 0 评论 -
Hash 浅谈:计算与碰撞
本篇文章介绍了Hash函数的计算过程和碰撞率计算,以MurmurHash算法为例详细讲解了Hash算法的具体计算过程,最后给出了一个简洁的计算Hash碰撞率的公式。原创 2023-04-22 18:20:47 · 326 阅读 · 0 评论 -
【Doris】理解 Doris 的 Compaction 策略:Compaction 的必要性和类型
不做Compaction不行吗?原创 2023-03-13 13:15:09 · 621 阅读 · 0 评论 -
Doris Bitmap介绍及企业应用
Doris Bitmap,跳出官方限制,企业应用原创 2023-02-19 19:11:54 · 1450 阅读 · 0 评论 -
Doris Join优化实践
Doris Join,通过分析执行过程得到优化思路原创 2023-02-01 22:20:06 · 760 阅读 · 1 评论 -
Exactly Once,究竟是对什么Exactly Once?
At most once数据被保证只会被应用中的算子最多处理一次,但数据可能丢失。At least once数据被保证被应用中的算子至少处理一次,即事件在应用处理之前丢失的话会被从source重放(replayed)或重传(retransmitted)。所以事件可能会被处理多次。Exactly once即时发生各种故障,事件或数据也被保证只会被应用程序处理一次。机制checkpoint流处理应用中的每个算子都会周期性地做checkpoint保存状态,如果发生故障,每个算子的所有状态都会回滚到原创 2022-04-04 16:58:43 · 368 阅读 · 0 评论 -
学习《网站用户行为分析实验》总结
本文章学习的是厦门大学大数据课程的实验案例——网站用户行为分析,着重于Hadoop平台的操作,而不是数据的分析文章目录软件版本与环境搭建本地数据集上传到数据仓库Hive数据下载数据处理导入数据库在Hive上创建数据库并导入Hive数据分析简单查询分析查询条数统计分析关键字条件查询分析根据用户行为分析用户实时查询分析Hive、MySQL、HBase数据互导环境准备使用Sqoop将数据从Hive...原创 2020-04-10 11:13:55 · 3164 阅读 · 3 评论 -
林子雨《大数据技术原理与应用》第五讲——NoSQL数据库
NoSQL数据库林子雨《大数据技术原理与应用》第五讲笔记NoSQL数据库特点灵活的可扩展性灵活的数据模型和云计算结合查询性能差未形成通用的行业标准维护更加复杂NoSQL数据库有四大类型键值数据库:redis列族数据库:HBase、Cassandra文档数据库:MongoDB图数据库:Neo4j键值数据库数据模型:键是一个字符串对象,值可以是任意类型的对象典...原创 2020-01-20 17:42:52 · 1269 阅读 · 0 评论