环境搭建
文章平均质量分 84
主要是 Linux 下集群环境搭建
不搞数学的汤老师
不是各位卷死在下,就是在下卷死各位!
展开
-
配置实验用的 Rocky Linux
Rocky Linux 是一个由社区驱动的企业级 Linux 发行版,它旨在作为 CentOS 的替代品。(CentOS 官方不再提供 CentOS 9及后续版本,不再支持新的软件和补丁更新。Rocky Linux 是基于 Red Hat Enterprise Linux 的源码构建的,旨在与 RHEL 完全二进制兼容。这意味着它可以在生产环境中作为 RHEL 的替代方案,提供长期支持和企业级的稳定性。原创 2024-09-19 19:45:21 · 662 阅读 · 0 评论 -
Kafka 集群搭建(含 ZK 模式和 Kraft 模式)
前言环境介绍虚拟机软件:VirtualBoxLinux 发行版本:Ubuntu 20.04.4虚拟机核心数:1 core虚拟机内存:2 GBJDK 版本:1.8.0_202ZK 版本:3.8.0Kafka 版本:3.2.0实验机搭建集群规划node01node02node03zkzkzkkafkakafkakafkaZK 集群部署ZK 环境变量$ vim /etc/profile# 拷贝以下内容export ZK_HOME=/opt原创 2022-05-18 22:16:35 · 2461 阅读 · 0 评论 -
基于 Hadoop HA 的 Hive 搭建
前言环境介绍虚拟机软件:VirtualBoxLinux 发行版本:Ubuntu 20.04.4虚拟机核心数:1 core虚拟机内存:2 GBJDK 版本:1.8.0_202Hadoop 版本:3.2.3ZK 版本:3.8.0Hive 版本:3.1.3MySQL 版本:8.0.28Hadoop HA 搭建集群规划Hive 默认使用的元数据库为 derby,开启 Hive 之后就会占用元数据库,且不与其他客户端共享数据,所以我们需要将 Hive 的元数据地址改为 MySQL按照以原创 2022-05-03 22:07:57 · 3564 阅读 · 0 评论 -
Hadoop HA 搭建
Hadoop 主要由 HDFS、YARN 和 MapReduce 三大组件构成。HDFS:分布式文件存储,用于大规模数据存储。由 NameNode 与 DataNode 构成。NameNode:管理元数据。维护文件系统目录结构,管理数据块和数据节点的映射关系,处理客户端的文件请求。当 NN 宕机时整个 HDFS 不可使用,需要对其做 HA。DataNode:存储实际的数据。执行来自客户端的读写请求(数据会复制多份存储在不同的 DN 上),定期向 NN 发送心跳并上报状态。原创 2022-05-03 13:02:28 · 3264 阅读 · 2 评论 -
配置实验用的 Linux 虚拟机
准备虚拟机软件:VirtualBoxLinux 发行版本:Ubuntu 20.04.4初始化 root 密码$ sudo passwd连不上 VirtualBox 虚拟机网络模式设置两个网卡,分别为 NAT 和 Host-OnlyNAT 用于连外网,Host-Only 用于连内网[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vKSZxYvk-1651121464338)(https://raw.githubusercontent.com/a981008/i原创 2022-05-01 19:34:59 · 1026 阅读 · 0 评论