CDH运维 透明大页面

CDH运维 透明大页面

前言

维护CDH过程中,检查主机发现有一台机器开启过大透明页,出现性能告警,现将其关闭,顺便了解一下透明大页面
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

目录

  1. 解决方案
  2. 什么是透明大页面

解决方案

正如报警所示,执行两段命令即可

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

为了防止系统重启,初始化更新上述值,还需如下操作
编辑

# 编辑该文件
vi /etc/rc.local
# 添加内容如下
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
   echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
   echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

# 保存后添加可执行权限
chmod +x /etc/rc.d/rc.local

p.s. 系统版本不一致,文件名也不一样,具体参考Cloudera官网,官方链接如下:
https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_admin_performance.html

[user@hadoop06 ~]$ cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)

什么是透明大页面

透明大页THP能增加转译后备缓冲器TLB(Translation Lookaside Buffer)命中的几率,减少内存访问页表项PTE(Page Table Entries)时的开销,使系统获得性能提升。透明大页THP试图进一步释放运维压力,使用户在无感知的情况下享受到性能的提升。然而,透明大页THP的资源是有限的,当系统达到透明大页THP分配的瓶颈时,需要使用一系列机制来保证系统的正常运行。在这种情况下,系统的默认配置不一定适用于所有用户场景。

参考blog

Linux 页表、大页与透明大页
https://blog.csdn.net/Hehuyi_In/article/details/100867528
Linux 2系统中与透明大页THP相关的性能调优方法
https://help.aliyun.com/knowledge_detail/161963.html
透明大页
https://blog.csdn.net/tiantao2012/article/details/68940964
大页面和透明大页面
https://blog.csdn.net/xjping0794/article/details/78066064
透明大页介绍
https://blog.csdn.net/bzfys/article/details/77816571

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH大数据运维,也就是Cloudera的分布式数据平台运维CDHCloudera公司基于Apache Hadoop开发的商业版分布式数据平台,主要用于存储和处理大规模数据。CDH大数据运维通常包括以下几个方面: 1. 集群部署和配置:CDH运维首先要进行集群的部署和配置,包括选择合适的硬件、安装操作系统、配置网络环境等。此外,还需要对CDH的各个组件进行适当的配置,如Hadoop、HBase、Impala等,以满足各种数据处理需求。 2. 资源管理和调度:CDH运维需要对集群中的资源进行管理和调度,以确保任务的顺利执行。这包括对CPU、内存、磁盘等资源的监控和分配,以及对任务的调度和优化。 3. 数据备份和恢复:CDH大数据运维还需要对存储在集群中的数据进行备份和恢复。这可以通过设置合适的数据备份策略和使用分布式文件系统来实现。当数据丢失或损坏时,可以快速恢复数据,确保数据的完整性和可靠性。 4. 性能优化:CDH大数据运维需要进行性能优化,以提高数据处理的效率和响应速度。这包括对集群中的各个组件进行调优和配置优化,以减少资源消耗和提高数据处理能力。 总之,CDH大数据运维是一个综合性的工作,需要对分布式数据平台进行部署、配置、资源管理、备份恢复和性能优化等方面的工作。它的目标是确保集群的稳定运行,保障数据的安全性和可用性,提高数据处理的效率和性能。CDH大数据运维对于企业来说非常重要,可以帮助他们更好地利用大数据进行业务决策和创新。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值