大数据
文章平均质量分 95
李姓门徒
视思明,听思聪,色思温,貌思恭,言思忠,事思敬,疑思问,忿思难,见得思义。
多写、多记、多思考!
慢一点,再慢一点,慢就是快,少打错别字!
可以查看个人私人网站 https://www.dawnli.cn/
展开
-
深度优化Hadoop NameNode读写性能
在整个公司范围内,我们都在积极推行“降本增效”的理念。从开发角度出发,这意味着我们需要在负责的项目中寻找合适的优化点,通过提升性能来实现降低成本的目标。因此,我们开始考虑是否可以在HDFS上进行进一步的优化。结合在使用HDFS过程中遇到的性能瓶颈问题,我们逐步明确了接下来要实施的性能优化方案。原创 2024-05-17 18:19:08 · 1128 阅读 · 0 评论 -
如何更好地使用Kafka? - 故障时解决
要确保Kafka在使用过程中的稳定性,需要从kafka在业务中的使用周期进行依次保障。主要可以分为:事先预防(通过规范的使用、开发,预防问题产生)、运行时监控(保障集群稳定,出问题能及时发现)、故障时解决(有完整的应急预案)这三阶段。原创 2024-05-08 00:16:29 · 804 阅读 · 0 评论 -
如何更好地使用Kafka? - 运行监控篇
要确保Kafka在使用过程中的稳定性,需要从kafka在业务中的使用周期进行依次保障。主要可以分为:事先预防(通过规范的使用、开发,预防问题产生)、运行时监控(保障集群稳定,出问题能及时发现)、故障时解决(有完整的应急预案)这三阶段。原创 2024-05-08 00:03:20 · 887 阅读 · 0 评论 -
如何更好地使用Kafka? - 事先预防篇
要确保Kafka在使用过程中的稳定性,需要从kafka在业务中的使用周期进行依次保障。主要可以分为:事先预防(通过规范的使用、开发,预防问题产生)、运行时监控(保障集群稳定,出问题能及时发现)、故障时解决(有完整的应急预案)这三阶段。原创 2024-05-07 23:20:08 · 1175 阅读 · 0 评论 -
Hdfs小文件治理策略以及治理经验
小文件是 Hadoop 集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。如果处理不好,可能会导致许多并发症。Hadoop集群本质是为了TB,PB规模的数据存储和计算因运而生的。为啥大数据开发都说小文件的治理重要,说HDFS 存储小文件效率低下,比如增加namenode负载等,降低访问效率等?究竟本质上为什么重要?以及如何从本质上剖析小文件,治理小文件呢?今天就带你走进小文件的世界。原创 2024-05-03 22:20:35 · 1077 阅读 · 0 评论 -
ClickHouse高原理与实践
ClickHouse是俄罗斯公司Yandex研发的一款开源的,用于OLAP( Online Analytical Processing,联机分析,即通过多种不同的维度审视数据。OLAP具有多维度、快速响应、聚合计算、数据切片等特点)的列式存储的数据库管理系统。ClickHouse名称的来源是Click Stream,Data WareHouse,即基于点击事件流的数据仓库。ClickHouse设计的初衷就是以最快的速度进行GROUP BY查询和过滤,它充分利用了列式存储,数据压缩,向量化执行,数据分原创 2024-05-01 00:09:18 · 1511 阅读 · 0 评论 -
Flink运行机制相关概念介绍
大数据计算分为离线计算和实时计算,其中离线计算就是我们通常说的批计算,代表技术是Hadoop MapReduce、Hive等;实时计算也被称作流计算,代表技术是Storm、Spark Streaming、Flink等。本文系统地介绍了流式计算的相关知识,并着重介绍了Flink的实现原理细节,便于大家快速地理解和掌握流式计算,并基于Flink完成业务开发。原创 2024-04-04 22:20:45 · 1222 阅读 · 0 评论 -
HDFS磁盘写满问题分析
探讨hdfs的datanode节点磁盘被写满的原因分析和相关规避方案。[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_43845924/article/details/135713107)原创 2024-03-18 12:29:11 · 913 阅读 · 0 评论 -
RocketMQ高可用架构涉及常用功能整理
探讨rocketmq的系统架构以及以及整体常用的命令和系统分析,本文主要探讨高可用版本的rocketmq集群,并基于日常工作中的沉淀进行思考和整理。更多关于分布式系统的架构思考请参考文档[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_43845924/article/details/135713107)原创 2024-02-20 11:48:56 · 867 阅读 · 1 评论 -
ActiveMQ高可用架构涉及常用功能整理
探讨activemq的系统架构以及以及整体常用的命令和系统分析,本文主要探讨高可用版本的activemq集群,并基于日常工作中的沉淀进行思考和整理。更多关于分布式系统的架构思考请参考文档[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_43845924/article/details/135713107)原创 2024-02-20 00:06:57 · 1082 阅读 · 0 评论 -
ES鉴权设计以及相关探讨
鉴权,分别由**鉴**和**权**组成- **鉴**: 表示身份认证,认证相关用户是否存在以及相关的用户名和密码是否一致- **权**: 完成身份的**鉴**后,还需要判断用户是否有相关操作的权限。因此对于某一个用户来说,通常情况下,需要完成**鉴**和**权**才能够满足一个完整的业务场景,因此通常将**鉴权**放在一起考量。本文探讨es的鉴权常用的鉴权方式以及相关鉴权设计方式。原创 2024-02-07 00:04:11 · 1549 阅读 · 0 评论 -
ES监控方法以及核心指标
探讨es的监控数据采集方式以及需要关注的核心指标,便于日常生产进行监控和巡检。原创 2024-02-06 23:14:41 · 1523 阅读 · 0 评论 -
ES节点故障的容错方案
本文主要探讨es集群的高可用容错方案和容错能力的探讨。在出现单机故障时相关的容错方案。更多关于分布式系统的架构思考请参考文档[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_43845924/article/details/135713107)原创 2024-02-06 12:05:50 · 1734 阅读 · 0 评论 -
ES高可用架构涉及常用功能整理
探讨es的系统架构以及以及整体常用的命令和系统分析,本文主要探讨高可用版本的es集群,并基于日常工作中的沉淀进行思考和整理。更多关于分布式系统的架构思考请参考文档[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_43845924/article/details/135713107)原创 2024-02-04 17:56:58 · 1338 阅读 · 0 评论 -
KAFKA鉴权设计以及相关探讨
鉴权,分别由**鉴**和**权**组成- **鉴**: 表示身份认证,认证相关用户是否存在以及相关的用户名和密码是否一致- **权**: 完成身份的**鉴**后,还需要判断用户是否有相关操作的权限。因此对于某一个用户来说,通常情况下,需要完成**鉴**和**权**才能够满足一个完整的业务场景,因此通常将**鉴权**放在一起考量。本文探讨kafka的鉴权常用的鉴权方式以及相关鉴权设计方式。原创 2024-01-31 22:28:08 · 1446 阅读 · 0 评论 -
KAFKA监控方法以及核心指标
探讨kafka的监控数据采集方式以及需要关注的核心指标,便于日常生产进行监控和巡检。原创 2024-01-31 14:58:36 · 1986 阅读 · 0 评论 -
KAFKA节点故障的容错方案
本文主要探讨kafka集群的高可用容错方案和容错能力的探讨。在出现单机故障时相关的容错方案。更多关于分布式系统的架构思考请参考文档[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_43845924/article/details/135713107)原创 2024-01-30 23:24:19 · 1231 阅读 · 0 评论 -
KAFKA高可用架构涉及常用功能整理
探讨kafka的系统架构以及以及整体常用的命令和系统分析,本文主要探讨高可用版本的kafka集群,并基于日常工作中的沉淀进行思考和整理。更多关于分布式系统的架构思考请参考文档[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_43845924/article/details/135713107)原创 2024-01-30 19:40:48 · 1671 阅读 · 0 评论 -
HDFS的standby节点启动过慢原因分析以及应对策略
在hdfs的nn重启过程时,以standby的方式进行启动,其中当前节点的fsimage和active节点的editlog数量对启动时间起到关键性的影响。本问题探讨hdfs的active节点正常,当standby节点重启时重启过慢的原因分析以及应对的策略。原创 2024-01-27 09:00:00 · 1187 阅读 · 0 评论 -
Flink运行架构以及容错机制
flink是一个开发框架,用于进行数据批处理,本文主要探讨Flink任务运行的的架构。由于在日常生产环境中,常用的是flink on yarn 和flink on k8s两种类型的模式,因此本文也主要探讨这两种类型的异同,以及不同角色的容错机制。原创 2024-01-23 23:24:06 · 1149 阅读 · 0 评论 -
Spark运行架构以及容错机制
spark是一个开发框架,用于进行数据批处理,本文主要探讨Spark任务运行的的架构。由于在日常生产环境中,常用的是spark on yarn 和spark on k8s两种类型的模式,因此本文也主要探讨这两种类型的异同,以及不同角色的容错机制。原创 2024-01-23 00:35:13 · 1144 阅读 · 0 评论 -
HBase节点故障的容错方案
本文主要探讨hbase集群的高可用容错方案和容错能力的探讨。涉及Master和RS相关组件,在出现单机故障时相关的容错方案。原创 2024-01-21 10:04:22 · 604 阅读 · 0 评论 -
YARN节点故障的容错方案
本文主要探讨yarn集群的高可用容错方案和容错能力的探讨。涉及RM和NM相关组件,在出现单机故障时相关的容错方案。原创 2024-01-20 23:29:37 · 1014 阅读 · 0 评论 -
HDFS节点故障的容错方案
本文主要探讨hdfs集群的高可用容错方案和容错能力的探讨。涉及NN、JN和DN相关组件,在出现单机故障时相关的容错方案。原创 2024-01-20 21:34:52 · 891 阅读 · 0 评论 -
HBase鉴权设计以及Kerberos鉴权方法
整理hbase的相关鉴权设计,分别从hbase内部组件视角和客户视角进行权限管理原创 2024-01-19 00:23:14 · 1152 阅读 · 0 评论 -
YARN鉴权设计以及Kerberos鉴权方法
整理和梳理yarn集群的鉴权认证方式原创 2024-01-18 23:57:10 · 873 阅读 · 0 评论 -
HBase监控方法以及核心指标
整理和梳理日常hbase的监控核心指标,作为经验沉淀原创 2024-01-18 14:06:03 · 1190 阅读 · 0 评论 -
YARN监控方法以及核心指标
整理yarn集群的监控方法和核心关键指标原创 2024-01-18 00:10:02 · 1048 阅读 · 0 评论 -
HBase高可用架构涉及常用功能整理
介绍日常使用的hbase总结和梳理原创 2024-01-15 19:47:38 · 957 阅读 · 0 评论 -
YARN高可用架构涉及常用功能整理
整理和梳理yarn集群的高可用架构、日常使用的命令、和简单的任务开发原创 2024-01-13 19:13:35 · 904 阅读 · 0 评论 -
HDFS鉴权设计以及Kerberos鉴权方法
鉴权,分别由和组成因此对于某一个用户来说,通常情况下,需要完成和才能够满足一个完整的业务场景,因此通常将放在一起考量。本文探讨hdfs的鉴权常用的鉴权方式以及kerberos鉴权方式的相关方法。原创 2024-01-13 15:24:39 · 934 阅读 · 0 评论 -
HDFS监控方法以及核心指标
整理日常工作中hdfs的监控方法和监控项,梳理核心指标原创 2024-01-11 14:35:56 · 1042 阅读 · 0 评论 -
HDFS高可用架构涉及常用功能整理
整理日常hdfs使用过程中的hdfs相关问题原创 2024-01-09 17:07:37 · 827 阅读 · 0 评论