xCat部署及分发操作系统

已于 2024-08-09 15:36:44 修改
阅读量170 收藏
点赞数 4
分类专栏： 大数据故障 HPC高性能计算 文章标签： 云计算 hadoop
于 2024-08-09 14:42:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43566162/article/details/141061743
版权

一、环境准备
此次安装部署均在VMware虚拟机上运行。系统采用通用稳定的centos7系统，移植到其他(linux)系统应该问题不大。软件服务器的VMware虚拟机的创建部分就跳过了.

1.1服务器的配置
IP 主机名 配置 备注
192.168.11.10 master 4C/8G/60G Xcat/DNS/DHCP/NTP/TFTP
192.168.11.11 node01 4C/8G/60G 计算节点
192.168.11.12 node02 4C/8G/60G 计算节点

注意事项：
1.虚拟机的网络采用NAT模式
2.虚拟的DHCP关闭，否则和xcat的DHCP冲突
image.png

二、准备前的工作

2.1centos7.9停止维护，需要替换成阿里的源(管理节
了解本专栏 订阅专栏 解锁全文 超级会员免费看
拾八闲客
关注
专栏目录
订阅专栏
博客
slurm集群监控部署
08-29 269
●一些短期运行的作业的生命周期过短，难以有效地将必要的指标数据供给到 Server 端，它们一般会采用推送（Push）方式输出指标数据， Prometheus 借助于 Pushgateway 接收这些推送的数据，进而由 Server 端进行抓取。随着公司业务的不断发展，业务种类的增加、服务器数量的增长和网络环境的复杂以及版本发布频繁，从而不可避免带来了线上事故的增多，因此需要对服务器进行全方位的监控，提前预警，急需一个工具来实现解决这个问题，而Grafana的出现完美解决了这个问题。
博客
使用kubeadm搭建高可用的K8s集群
08-12 323
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。
博客
HDFS的NameNode堆内存估算
08-12 377
在HDFS中，数据和元数据是分开存储的，数据文件被分割成若干个数据块，每一个数据块默认备份3份，然后分布式的存储在所有的DataNode上，元数据会常驻在NameNode的内存中，而且随着数据量的增加，在NameNode中内存的元数据的大小也会随着增加，那么这个时候对NameNode的内存的估算就变的非常的重要了。假设现在有一个192MB的文件，数据块的大小是默认的128M，那么这个192MB的文件会被切分成两个数据块，一个数据块的大小是128MB，另一个数据块的大小是64MB。
博客
CDH 集群 使用 JindoFS SDK 访问 OSS
08-12 892
CDH（Cloudera's Distribution, including Apache Hadoop）是众多Hadoop发行版本中的一种，本文以CDH 5.16.2为例介绍如何配置CDH支持使用JindoFS SDK访问OSS。通过集群管理工具Cloudera Manager增加OSS的Access Key、Access Key Secret、Endpoint等配置，并根据Cloudera Manager提示重启集群和部署客户端配置。​)，将sdk包安装到hadoop的classpath下。
博客
CDH6.3使用JindoFS SDK无法使用hadoop distcp的问题解决
08-10 43
hadoop distcp hdfs://换成自己环境的IP:9000/group/user/tools/meta/hive-temp-table/kstj_os/tp_device/* oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/kstj_os/tp_device。各个节点上传jindofs-sdk.jar到/root/目录下。在yarn的界面操作以下。
博客
hue无法执行批处理作业解决方案
08-10 55
提示hdfs的/user/oozie/share/lib目录不存在，原因是因为没有安装oozie的共享库。点击oozie角色，操作中点击安装oozie共享库。在执行批处理作业的时候，报作业为FAILED状态。查看执行的过程中发现：oozie的问题。脚本中没有报错，问题得到解决。
博客
Apache Dolphinscheduler版本差异的配置造成的故障处理
08-10 71
dolphinscheduler1.3.4的common.properties的配置。dolphinscheduler1.3.8的common.properties的配置。下面的这个配置成%s,因为代码中隐藏了，不然无法获取到yarn的任务状态信息。下面的这个配置中8088直接在配置成端口即可。1.3.8改了配置之后任务正常，如下。
博客
Doris 数仓使用规范（经验版）
08-10 55
对于历史数据，如果数据量比较小我们可以创建历史分区（比如年分区，月分区），将所有历史数据放到对应分区里。类似这样通过Hint方式去设置Session 会话变量，不要设置全局的系统变量。【强制】数据库字符集指定utf-8，并且只支持utf-8。4. 使用PrepareStatement模板。
博客
Kudu_tool备份还原使用文档
08-10 621
Kudu表数据和hive表数据进行从阿里云迁移到私有云，数据300G需要进行迁移，固编写了此工具方便运维使用进行迁移Kudu表数据和hive表数据。
博客
CDH集成Paimon+flink+hive的测试联调
08-08 1484
Apache Paimon是一种湖格式，可以通过Flink和Spark构建实时Lakehouse架构，用于流式和批处理操作。Paimon创新地结合了湖格式和LSM（日志结构合并树）结构，将实时流式更新引入湖架构。
博客
高性能计算收藏
08-08 233
- Slurm资源管理与作业调度系统HA高可用配置。-- Slurm资源管理与作业调度系统安装配置。-- Linux高性能计算集群配置。-- Slurm作业管理系统使用。-- slurm文档集。
博客
使用python监控HDFS文件的增量【优化中】
08-04 217
3.2删除文件记录 hdfs_delete_file_record.py。3.4文件路径的天监控 hdfs_path_Monitor_day.py。3.3文件路径的小时监控 hdfs_path_Monitor.py。3、每天计算文件大小，参考：hdfs_path_Monitor_day.py。3.2删除文件记录 hdfs_delete_file_record.py。3.4文件路径的天监控 hdfs_path_Monitor_day.py。3.3文件路径的小时监控 hdfs_path_Monitor.py。
博客
CDH的CM金丝雀Canary报错
08-04 445
Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。Hive Metastore canary 创建 hue hdfs 主目录失败。2）hdfs datanode是否健康，磁盘空间是否空闲，可自行上传文件测试。如果都确认过还报错，请重启cloudera-scm-server。3）根据错误提示查看目录权限，如果有问题，改为777。1）hdfs是否处于safemode，正常是off。CM金丝雀Canary报错。1 HDFS 金丝雀。
博客
hive 查看表权限命令行 hive 查询表权限
08-04 273
4、 查看当前具有的角色。7、查看某用户的所有角色。2、删除用户acl权限。3、删除所有acl权限。5、查看所有存在的角色。
博客
统计HDFS中文件数量、大小、以及在某范围大小的文件数量
08-04 443
使用：hdfs dfs -ls -R / |grep ^-数据保存在 data.txt 文件中；
博客
Slurm集群部署
07-31 743
同时，MUNGE的高效性保证了认证过程不会成为系统性能的瓶颈，使得SLURM能够在大规模集群中高效运行。通过NIS，系统管理员可以在一个中心位置管理用户账户和配置文件，简化了跨多个系统的用户管理工作，提高了网络的可维护性和安全性。MUNGE（MUNGE Uid ‘N’ Gid Emporium）是一种用于认证的工具，特别设计用于在分布式系统中验证用户的身份。在SLURM环境中，NIS通过集中管理用户账户和权限，确保在整个计算集群中用户身份的一致性，简化了用户管理，减少了维护成本。
博客
Kudu_tool备份还原使用文档
07-28 136
Kudu表数据和hive表数据进行从阿里云迁移到私有云，数据300G需要进行迁移，固编写了此工具方便运维使用进行迁移Kudu表数据和hive表数据。
博客
Clickhouse服务器CPU 99.99%的处理过程
07-28 373
查看报错日志，查询的数据大于max blokc的原因导到的，主要是因查询进入了死循环的状态了。进入服务器，查询正在执行任务的语句。
博客
生产环境CDH集群主机加内存导致系统无法启动,重装系统后CDH数据修复的过程
07-28 480
1.要多看报错的内容,根据报错的内容一步步的修复2.保证有一台namenode是可用的3.保证各个组件的元数据库是正常使用的.4.修复的时候要胆大心细,操作之前要写好操作方案去实施,不然思路上不清晰,修复起来会出现各种问题5.修复之前要针对元数据库和组件分布到各个主机上要做好备份。
博客
HDFS清理Tarsh的脚本
07-25 46
【代码】HDFS清理Tarsh的脚本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值