- 博客(387)
- 收藏
- 关注
RSS订阅原创 Hadoop HDFS-追加（Append）写入模式
在HDFS中，文件通常被设计为"一次写入，多次读取"（Write Once, Read Many, WORM）。因此，HDFS本身不支持对已有文件进行修改，包括在文件末尾追加数据。但是，从Hadoop 0.20.205版本开始，HDFS支持追加写入（append）功能，不过默认情况下是关闭的。在较新的版本中，追加写入功能是开启的。
2025-09-28 22:34:53
117
原创 Hadoop HDFS-认证（Kerberos） 部署与配置
上个小节，我们介绍了kerberos这个网络认证协议，本小节我们就来进行kerberos的部署。
2025-09-27 16:46:21
353
原创 Hadoop HDFS-认证（Kerberos） 简介及入门
前面我们介绍了HDFS的用户概念，很多的时候就是为了权限控制，但是HDFS超级管理员的本质由配置决定，而非用户本身。手动创建 hdfs 用户不会自动获得超管权限，需同时满足以下条件：进程启动身份：NameNode 必须由 hdfs 用户启动（关键！）超级组声明：在 hdfs-site.xml 声明超级组用户组归属：hdfs用户需在 supergroup 组中
2025-09-26 21:50:47
279
原创 Hadoop HDFS-用户 （User）
我们上个小节介绍了回收站的功能，在里面提到一个用户的概念，这个概念在回收站里面其实就是涉及到一个目录问题。
2025-09-25 20:28:45
776
原创 Hadoop HDFS-回收站（Trash）
我们在使用Linux的服务器里面是没有回收站这个概念的（Windows是有这个概念的）。上个小节我们已经介绍了HDFS可用使用快照方式来保护我们的数据，今天我们来介绍另外方式就是回收站，他就和Windows回收站类似，当然也有不一样的地方，下面我们就来详细介绍。
2025-09-24 22:38:19
255
原创 Hadoop HDFS-快照（Snapshots）
前面讲了很多HDFS的基本操作，并且其他软件也讲解过快照的相关概念：kvm-快照，ZooKeeper-快照。本小节我们来讲解HDFS的快照。
2025-09-23 20:37:40
397
原创 Hadoop HDFS-配额（Quotas）
HDFS作为一个类Linux的目录的树形目录，我们业务在使用HDFS的时候也会根据不同的应用放置在不同的目录，或者不同环境使用不同的目录，实际这个和ZooKeeper的目录结构结构类似。我们对单个目录的限制，就是我们要讲的配额内容。
2025-09-22 23:29:17
881
原创 Hadoop HDFS-设计哲学（分块&副本）
在传统的Linux里面，我们受限物理磁盘，我们无法生成或者使用一个很大的文件，虽然我们可以通过命令对文件进行切割和组合（Linux进阶命令-split），但是这里的只是实现切割，如果要使用还得重新组合在一起，而不能实现计算或者使用的时候直接调用这个多个块文件。我们今天来讲解的HDFS就具有这个能力。
2025-09-18 22:25:11
1016
原创 Hadoop HDFS-高可用集群部署
前面介绍高可用集群部署的几个组件，本小节就以常见的3节点来搭建一个高可用的HDFS集群。基于下面的规划来实现（实际为了简单，这里的ZooKeeper使用的单节点）。由于进程比较多，所以我这里给了每台机器8G内存，实际4G应该也可以。
2025-09-16 20:59:28
867
原创 Hadoop HDFS-ZKFailoverController（ZKFC）详细介绍
前面3个小节，我们介绍了单机情况下的HDFS的3个组件，其中nn和dn无论单机还是集群都是需要的，而2nn则只在单机下才有用，后面几个我们将介绍高可用集群模式涉及到的几个组件：JournalNode,ZKFailoverController（ZKFC）,本小节介绍：ZKFC。
2025-09-14 19:17:15
662
原创 Hadoop HDFS-JournalNode（jn）详细介绍
前面3个小节，我们介绍了单机情况下的HDFS的3个组件，其中nn和dn无论单机还是集群都是需要的，而2nn则只在单机下才有用，后面几个我们将介绍高可用集群模式涉及到的几个组件：JournalNode,ZKFailoverController（ZKFC）,本小节介绍：JournalNode。
2025-09-04 19:46:54
867
原创 Hadoop HDFS-SecondaryNameNode（2nn）详细介绍
前面我们介绍了HDFS的安装，在单机版本里面一共启动了3个java进程：NameNode，DataNode，SecondaryNameNode，下面我们就来分别介绍这3个进程，今天是SecondaryNameNode。
2025-09-03 20:44:02
865
原创 Hadoop HDFS-DataNode（dn）详细介绍
前面我们介绍了HDFS的安装，在单机版本里面一共启动了3个java进程：NameNode，DataNode，SecondaryNameNode，下面我们就来分别介绍这3个进程，今天是DataNode。
2025-09-01 22:57:47
597
原创 Hadoop HDFS-NameNode（nn）详细介绍
前面我们介绍了HDFS的安装，在单机版本里面一共启动了3个java进程：NameNode，DataNode，SecondaryNameNode，下面我们就来分别介绍这3个进程，今天是NameNode。
2025-08-28 20:33:45
817
原创 Hadoop HDFS-基本介绍
上个小节我们介绍Hadoop生态的核心软件以及其他相关辅助软件，从本小节开始我们就来介绍其中普通运维最容易接触到的软件：HDFS。
2025-08-14 20:50:31
603
原创 Hadoop 三件套：存、算、调度的分布式基石
上个小节我们介绍消息队列软件，本章进入大数据章节，会涉及到多个软件。但是我们这里主要讲解的HDFS。
2025-08-13 21:21:06
737
原创 RabbitMQ-知识技能图谱（总结篇）
我们经过20多小节的介绍，我们的RabbitMQ（简称MQ）讲解就算讲解完毕，下面就是来做一个小节，可供参考。
2025-08-12 20:42:45
931
原创 RocketMQ-部署与基本操作
上个小节我们介绍了RocketMQ和RabbitMQ和Kafka的基本差距，本小节我们来做一个简单的部署和操作。
2025-08-11 22:38:45
388
原创 RabbitMQ-RocketMQ和Kafka有什么区别
到这里我们的RabbitMQ的讲解就已经基本讲解完毕，但是这里还涉及到一个比较类似的软件：RocketMQ。下面几个小节我们将来讲解这个软件。
2025-08-10 22:46:46
559
原创 RabbitMQ-案例（虚拟机创建流程）
在前几年很火的云平台：OpenStack。在里面创建虚拟主机，大概会经过下面几个步骤，申请网络资源，申请磁盘资源等。而提供这2个资源的组件是不相同的，他们就会通过RabbitMQ来来实现解耦和异步通信。
2025-08-09 21:11:10
370
原创 RabbitMQ-日常运维命令
到目前为止，我们的RabbitMQ的基本功能就算已经讲解完毕，本小节给RabbitMQ的常用命令做一个总结，当然很多命令也可以通过网页和http接口实现，具体用什么方式，就看个人习惯和技能的掌握程度。
2025-08-07 23:59:33
453
原创 RabbitMQ-监控（Monitor）
今天来讲RabbitMQ监控，实际上我们前面的web插件和几http api 都有监控功能，只是一个web界面查看，一个用http接口（适合接入自己的监控，并且需要对http很熟悉才行）。
2025-08-06 22:40:12
271
原创 RabbitMQ-http api介绍
RabbitMQ 提供的 RESTful 接口，用于无需登录Web控制台即可管理集群、监控状态、操作资源。适合自动化运维、集成监控系统（如Prometheus/Zabbix）或自定义管理工具。
2025-08-05 20:25:24
287
原创 RabbitMQ-网络分区（Network Partitions）处理
本文介绍了RabbitMQ集群网络分区的处理与预防方法。主要内容包括：网络分区识别确认方法；解决根本网络问题的优先级；自动恢复（推荐）和手动恢复（需谨慎）两种处理方式；详细的节点剔除与重新加入集群操作示例。预防措施建议：构建健壮网络基础设施、合理配置集群规模与放置、加强监控告警、调整心跳参数、使用Federation/Shovel连接、优先采用QuorumQueues等。强调默认pause-minority模式通过牺牲少数派可用性保证数据一致性的重要性，建议运维时优先采取预防措施，处理恢复时需谨慎以避免数据
2025-08-04 20:19:48
501
原创 RabbitMQ-网络分区（Network Partitions）
没处理过RabbitMQ网络分区的运维，不是好运维。虽然这是一句玩笑话，但是也从侧面说明网络分区的问题在RabbitMQ里面重要性。
2025-08-03 21:21:55
795
原创 RabbitMQ-自动化部署镜像队列
前面两个小节，我们通过手工启动节点，然后通过命令行操作让他变成普通集群和镜像模式。今天我们通过配置文件方式来配置集群，并支持镜像模式。最主要他可以实现自动化部署镜像模式。
2025-08-02 21:41:02
444
原创 RabbitMQ-镜像队列（Mirrored Queues）
上个小节我们介绍了RabbitMQ伪集群模式，虽然元数据是同步共享的，但是数据只存在某一台节点，当这个节点宕机以后，整个集群也就出现问题，所以本小节我们介绍一个新的正在的高可用方案：镜像队列（Mirrored Queues）。
2025-08-01 21:23:23
376
原创 RabbitMQ-伪集群部署（Cluster）
前面我们讲解了部署RabbitMQ的相关概念和操作，但是都是使用单机，作为一个分布式系统，怎么能没有集群版呢，今天我们就来讲解集群部署，虽然是伪集群，但是方便我们更好的理解后面的镜像队列（Mirrored Queues）。
2025-07-31 20:43:15
911
原创 RabbitMQ-死信队列（Dead Letter Queue, DLQ）
死信队列是一种特殊队列，用于存储因特定原因无法被正常消费的消息。这些消息被称为 “死信”（Dead Letter）
2025-07-30 23:41:19
404
原创 RabbitMQ-延迟队列（Delayed Queue）
我们在Rabbitm-队列（Queues）的时候，介绍创建队列的时候后面还有很多参数，今天我们介绍的延迟队列就会利用到它。而且我们交换机还可以把消息转发到其他交换机（有些交换机只对内）。
2025-07-29 20:26:59
373
原创 RabbitMQ-消息持久化
上个小节我们介绍了RabbitmqMQ的元数据的持久化是和节点的类型有关（内存节点和硬盘节点），但是消息如果写入到RabbitMQ以后，未及时消费，集群崩溃数据是否会被丢失呢，这个就是我们今天要讲的消息持久化。
2025-07-28 21:57:11
919
原创 RabbitMQ-内存节点&硬盘节点
我们在Rabbitmq部署的时候，介绍过RabbitMQ的数据依赖主机名进行持久化，但是实际上在RabbitMQ里面还有内存节点和硬盘节点的概念，下面我们就来介绍这2个概念。
2025-07-27 23:25:15
544
原创 RabbitMQ-消费者（Consumer）
上个小节我们通过生产者代码，向RabbitMQ的交换机发送消息，本小节我们就通过消费者代码去读取队列里面数据，以下代码基于DeepSeek生成。我们可以和生产者的RabbitMQ配置对比下，看下有什么差距。
2025-07-26 21:08:19
334
原创 RabbitMQ-生产者（Producer）
我们通过虚拟主机，交换机，队列，绑定，将RabbitMQ连成了一个整体，生产者可以向交换机发送消息，交换机根据绑定规则可以把消息转发给对应的队列进行存储，消费者可以连接到队列去消费数据。
2025-07-25 21:04:22
216
原创 RabbitMQ-绑定 (Bindings)
前面的内容，我们介绍了虚拟主机（vhost），但是它只是一个逻辑概念，它必须配合对应的交换机（Exchange），队列（Queue），绑定（Binding）才能具体使用，今天我们就来介绍绑定。
2025-07-24 23:12:43
468
原创 RabbitMQ-队列 (Queues)
前面的内容，我们介绍了虚拟主机（vhost），但是它只是一个逻辑概念，它必须配合对应的交换机（Exchange），队列（Queue），绑定（Binding）才能具体使用，今天我们再来讲解队列。
2025-07-23 22:52:43
274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人