cdh6.2中提供了一种新类型的集群,称计算集群。计算集群运行Impala,Spark,Yarn等计算服务,但可以配置这些服务以访问托管在另一个CDH集群中的数据。使用此架构,可以通过各种方式分离计算和存储资源。
以下是两种存储分离方式
- 两套cdh测试环境
cm和cdh版本6.2.0
redhat7.4
- 第一种方式
集群A的存储更换到集群B上
1、hdfs配置
core-site.xml的集群范围高级配置代码段(安全阀)中新增fs.defaultFS,参数为hdfs://B集群ip:8020/
2、hive配置
如果不想使用B集群默认的hive仓库目录/user/hive/warehouse/目录,可以在B集群创建个目录,将hive仓库目录指定到新建目录上
如果想变更原表路径,可参考我的另一篇文章《cdh-hdfs变更nameservice后一系列hive问题》
https://blog.csdn.net/u013176920/article/details/88977412
3、hbase配置
在hbase-site.xml的Hbase服务高级配置代码段(安全阀)中新增hbase.rootdir,值为
hdfs://B集群ip:8020/hbase,并勾选final选项,将HBase的数据路径设置到存储侧。
在A集群的任意一个节点输入如下命令:
hbase zkcli
#进入zk缓存
rmr /hbase
#清理hbase缓存目录