记一次CDH集群磁盘扩容(热插拔)详细步骤--转载

记一次CDH集群磁盘扩容(热插拔)详细步骤

winrar_setup.rar

于 2019-11-21 16:22:55 发布

1953

已收藏 8

分类专栏：日常工作问题记录文章标签： CDH集群磁盘扩容 Hadoop磁盘扩容

本文链接： https://blog.csdn.net/weixin_39445556/article/details/103183754

版权

    <div id="blogColumnPayAdvert">
        <div class="column-group">
            <div class="column-group-item column-group0 column-group-item-one">
                <div class="item-l">
                    <a class="item-target" href="https://blog.csdn.net/weixin_39445556/category_9532468.html" target="_blank" title="日常工作问题记录" data-report-click="{&quot;spm&quot;:&quot;1001.2101.3001.6332&quot;}">
                        <img class="item-target" src="https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64" alt="">
                        <span class="title item-target">
                            <span>
                            <span class="tit">日常工作问题记录</span>
                                <span class="dec">专栏收录该内容</span>
                            </span>
                        </span>
                    </a>
                </div>
                <div class="item-m">
                    <span>27 篇文章</span>
                    <span>5 订阅</span>
                </div>
                <div class="item-r">
                        <a class="item-target article-column-bt articleColumnFreeBt" data-id="9532468">订阅专栏</a>
                </div>
            </div>
        </div>
    </div>
<article class="baidu_pl">
    <div id="article_content" class="article_content clearfix">
    <link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/kdoc_html_views-de46651acf.css">
    <link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-6e43165c0a.css">
            <div id="content_views" class="htmledit_views" deep="6">
                <p><span style="background-color:#efedf6;">前言：</span></p>

如果CDH集群搭载的是Hadoop3，支持单节点内磁盘的数据均衡，那给集群节点增加磁盘是可行的。若搭载的是Hadoop2.x版本，请注意，2.x版本的Hadoop没有单节点内磁盘均衡的功能，增加的新磁盘可能只会写入很少的数据，不能实际解决集群磁盘空间不足的问题，谨记！

正文：

数据仓库的其中一个作用是保存公司完整的业务或其他数据,在RDB如mysql/Oracle中,数据太多可以进行归档,但数仓不可以.这就导致了数仓中的磁盘占用率越来越高,终归有一天,磁盘不足,那给CDH集群增加磁盘就不能避免.

以下是我实际工作中一次增加磁盘的记录.分享出来希望可以帮到有缘人.

分为以下三个部分描述

1-磁盘热插拔的注意事项

2-具体操作步骤

3-增加磁盘后的效果

注意事项