自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1420)
  • 收藏
  • 关注

原创 canal单机部署

canal.ip =MODE=MYSQL;

2025-12-29 16:13:18 736

原创 MongoDB为啥创建索引慢

如果某个分片节点宕机,则会导致索引创建命令夯死,此时需要检查每个分片是否有节点宕机。正确情况下携带 background:true属性,无论索引大小多大,都会瞬间执行完成。// ↑ shell会一直卡在这里,直到索引完全创建完成。后台索引:允许读写,间歇性释放锁,但创建过程本身是同步的。// 前台索引(默认)- 阻塞所有读写操作,但更快。// 后台索引 - 不阻塞读写,但慢2-3倍。// 虽然叫"后台索引",但命令执行是同步的。文本索引、地理空间索引等特殊索引更耗时。2.前台索引 vs后台索引。

2025-12-15 09:47:49 139

原创 Ubuntu操作系统安装使用TDengine的注意事项

建议将Ubuntu操作系统的locale设置为en_US.UTF-8,已保持一致,否则混合部署后会报错:locale not match,并无法使用。否则可能会报错: DB error: Vnodes exhausted [0x800003BA] (0.000951s),导致无法删除要下线的dnode;Ubuntu22操作系统默认的locale=C.UTF-8,而Centos7.9操作系统默认的locale=en_US.UTF-8。确保下线一个节点后,剩余的dnode可以负载被迁移过来的vnode;

2025-11-25 11:22:31 389

原创 JAVA java.lang.Long类型操作MongoDB NumberLong类型的数据不显示

总的来说,JavaLong类型查询不到MongoDBNumberLong数据,主要排查数据类型匹配大整数精度以及Java驱动处理方式。请务必确保在操作大整数时使用字符串形式传入NumberLong,并在Java代码中对应使用类型。

2025-11-21 09:36:32 729

原创 MongoDB查询集合总文档数

db.my_connection.countDocuments({})

2025-10-30 14:07:21 121

原创 添加DBLE的流量入口地址

【代码】添加DBLE的流量入口地址。

2025-10-27 14:33:23 119

原创 YARN提交任务的流程

YARN 的任务提交流程体现了其清晰的职责分离Client:负责提交和监控。:作为全局的资源仲裁者,负责调度和启动 AM。:作为单个应用的管理者,负责内部任务的资源协商和执行。:作为单节点的执行者,负责启动和管理 Container 进程。这种架构使得 YARN 能够高效、可靠地管理成千上万个并发应用,每个应用都可以有完全不同的计算模型。

2025-10-21 09:42:52 263

原创 YARN是如何知道每个应用程序需要多少资源的?

步骤谁“知道”需求?谁提供资源?如何通信?1. 启动AM客户端(通过配置指定AM所需资源)应用提交API2. 运行任务(根据应用逻辑、数据量和配置计算出任务资源需求)资源请求(数量、资源量、位置)核心答案:YARN通过一种“应用程序主动申明”的机制来了解资源需求。客户端在提交时告知AM的资源需求。在运行时,根据应用程序自身的特性和配置,动态地向ResourceManager请求运行具体任务所需的资源。

2025-10-21 09:33:45 290

原创 YARN调度器的工作原理

【代码】YARN调度器的工作原理。

2025-10-21 09:27:31 280

原创 YARN的容错机制

【代码】YARN的容错机制。

2025-10-20 17:07:25 289

原创 YARN的高可用原理

【代码】YARN的高可用原理。

2025-10-20 16:54:43 251

原创 YARN与MapReduce的异同

【代码】YARN与MapReduce的异同。

2025-10-20 16:40:37 158

原创 YARN应用的运行机制

【代码】YARN应用的运行机制。

2025-10-20 16:25:26 93

原创 列出hdfs相关的所有命令

【代码】列出hdfs相关的所有命令。

2025-10-17 17:48:23 129

原创 HDFS支持哪些存储格式与压缩算法

【代码】HDFS支持哪些存储格式与压缩算法。

2025-10-17 17:19:29 117

原创 如何处理DataNode宕机问题

【代码】如何处理DataNode宕机问题。

2025-10-17 16:36:26 107

原创 如何处理NameNode宕机问题

【代码】如何处理NameNode宕机问题。

2025-10-17 16:19:17 158

原创 namenode每个节点独立的联邦架构

【代码】namenode每个节点独立的联邦架构。

2025-10-17 14:02:33 98

原创 编写一个具有3个namenode 的HDFS联邦的hdfs-site.xml ,core-site.xml 的配置文件

【代码】编写一个具有3个namenode 的HDFS联邦的hdfs-site.xml ,core-site.xml 的配置文件。

2025-10-17 14:00:38 113

原创 HDFS联邦机制

【代码】HDFS联邦机制。

2025-10-17 11:56:31 146

原创 NameNodeHA运行机制

【代码】NameNodeHA运行机制。

2025-10-17 11:31:09 87

原创 HDFS写数据流程

【代码】HDFS写数据流程。

2025-10-17 11:09:36 141

原创 HDFS读数据流程

【代码】HDFS读数据流程。

2025-10-17 10:53:31 139

原创 如何解决edits文件过大的问题

【代码】如何解决edits文件过大的问题。

2025-10-17 10:37:23 118

原创 Namenode元数据存储在什么位置

【代码】Namenode元数据存储在什么位置。

2025-10-17 10:21:18 407

原创 HADOOP如何区分是相同机架还是不同机架,两者有什么不同

【代码】HADOOP如何区分是相同机架还是不同机架,两者有什么不同。

2025-10-17 08:42:51 130

原创 如何处理HDFS大量小文件问题

【代码】如何处理HDFS大量小文件问题。

2025-10-16 18:04:17 133

原创 HDFS副本存放策略

【代码】HDFS副本存放策略。

2025-10-16 16:25:02 352

原创 HDFS的数据块大小设置

【代码】HDFS的数据块大小设置。

2025-10-16 15:56:58 427

原创 zookeeper的日常运维命令大全

【代码】zookeeper的日常运维命令大全。

2025-10-16 15:30:30 367

原创 如何迁移zookeeper集群

【代码】如何迁移zookeeper集群。

2025-10-16 15:10:38 275

原创 zookeeper如何保证事务的顺序的一致性

【代码】zookeeper如何保证事务的顺序的一致性。

2025-10-16 14:55:35 101

原创 zookeeper选举 机制的理解

【代码】zookeeper选举 机制的理解。

2025-10-16 14:42:26 288

原创 谈ZAB协议在zookeeper中的作用

【代码】谈ZAB协议在zookeeper中的作用。

2025-10-16 14:32:19 120

原创 谈对CAP的原则的理解

【代码】谈对CAP的原则的理解。

2025-10-16 14:31:24 94

原创 使用JAVA进行大数据开发,是否需要学习zookeeper的API

【代码】使用JAVA进行大数据开发,是否需要学习zookeeper的API。

2025-10-15 17:42:21 85

原创 zookeeper监听器原理

【代码】zookeeper监听器原理。

2025-10-15 17:34:08 107

原创 zookeeper所有的节点都给删除了,大数据集群还能恢复么

【代码】zookeeper所有的节点都给删除了,大数据集群还能恢复么。

2025-10-15 17:13:44 130

原创 zookeeper除了内存中有实时运行的数据,会在操作系统持久化数据么

【代码】zookeeper除了内存中有实时运行的数据,会在操作系统持久化数据么。

2025-10-15 16:37:52 348

原创 zookeeper集群的数据读写流程

【代码】zookeeper集群的数据读写流程。

2025-10-15 16:27:51 414

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除