CDH开启sentry后如何同步跨集群hive数据迁移

最新推荐文章于 2024-05-28 14:33:56 发布
最新推荐文章于 2024-05-28 14:33:56 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： 实验 经验 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haoxiaoyan/article/details/81004961
版权
本文介绍了在CDH环境下，开启Sentry后如何进行跨集群的Hive数据迁移。首先，通过设置ACL权限允许新集群的hadoop用户访问源集群的HDFS目录。然后，使用distcp命令复制数据，接着在新集群上创建外部表并指定存储位置。最后，加载数据到新表并验证数据迁移成功。
摘要由CSDN通过智能技术生成

1.        不同集群直接hive迁移

由于集群里设置了dfs.permissions=true  的 因此hdfs上的文件访问须hdfs用户才可以操作 被迁移的集群是hadoop用户，因此先对现有的目录设在acl权限访问/hive

①　  新集群操作

导数据之先把另一个集群的hadoop用户授予本集群的hdfs访问权限。

hdfs dfs -setfacl -R -muser:hadoop:rwx /hive

 

②　  原有集群里面执行

hadoop@hdp01:~$ hadoopdistcp /hive/warehouse/proc.db/drug_info_result3.txthdfs://10.3.14.24:8020/hive/warehouse/proc.db/

 

最低0.47元/天 解锁文章
蘑菇丁
关注
专栏目录
大数据平台CDH环境迁移手册
zhouhy1101的专栏
02-27 1566
文章目录1 前言2 硬件检测与配置优化2.1 磁盘挂载2.1.1 磁盘大小低于2T2.1.2 磁盘大小大于2T2.2 内存查看2.3 cpu检查2.4 网卡检查2.5 ntp同步3 os参数优化4 CDH参数优化4.1 hdfs4.2 yarn5 平台迁移模拟5.1 停止5.2 修改配置5.3 启动cdh6 CDH平台扩容7 服务启停8 注意点9 现场遇到的问题与解决10 帮助脚本 1 前言 最近接到了一个工作，将公司线上生产环境的6台安装了CDH以及大数据平台的服务器迁移到客户现场。服务器中有200+T
CDH集群数据迁移distcp
ITwangnengjie的博客
05-19 1298
环境为CDH6 脚本方式： echo "123456" | kinit wnj hadoop distcp -Ddistcp.bandwidth=500000000 -Dipc.client.fallback-to-simple-auth-allowed=true hdfs://10.44.200.101:8020/user/wnj/hivetable/test/ /user/hive/warehouse/test/ -Ddistcp.bandwidth=500000000 带宽设置为500M .
CDH集群间数据迁移
liuwei0376的专栏
02-15 4430
工作中，需要进行不同集群间数据迁移（这里演示CDH5->CDH6），迁移分为2个步骤： 1、库、表shema迁移 2、数据迁移 一、库、表schema迁移 核心思想主要是构建建库、建表语句，传统数据仓库大概都会有stage、ods、dw、dm、default等数据分层体系。 于是考虑使用shell脚本，将所有库及其下的表导出一份，然后再通过sed、awk或编辑软件的猎魔师制作建表语句。 ①、...
CDH不同集群之间hive/impala数据迁移(hadoop distcp)
hcq_lxq的博客
08-20 1752
##get_hive_db_tables.sh #!/bin/bash ##脚本位置 where_src_table_info="/home/hadoopap/test_mv_kd/create_hive_table" ##查询大数据所有的database hive -e " show databases; exit ;" | grep -v default | grep -v test > ${where_src_table_info}/databases.txt if [ ! -d .
CDH集群间数据同步 distcp
ace1832的博客
05-27 1061
首先要确定两个集群的namenode（活动），可以登录cm-集群-hdfs-实例查看，确定namenode后再确定相应端口，可以在cm中hdfs主机-资源界面查看（一般为8020），确定完两个集群的参数后再确定下面的配置 1、两个集群的所有节点都互通/etc/hosts文件（可选，没有配置hosts可以使用ip） 2、数据源集群主节点到老集群各个节点的ssh免密登陆 3、两个集群版本是否一致 4、运行命令的用户有目标集群仓库目录的权限 cdh版本相同使用命令hadoop distcp hdfs://i.
CDH6.2 集成Sentry，Hive，Hue，Impala权限控制
简单的心的博客
07-02 6228
公司最近Hadoop集群和其他服务机器复用严重，提供了新机器，想将Hadoop集群迁出。 Hadoop使用的CDH集成环境，从CDH5.3跨越到CDH6.2 之前在CDH5.3上将hive从0.13升级到1.2.1。然后做了hive权限控制 详情见https://blog.csdn.net/u012422198/article/details/94434445 想在CDH6.2中同样来一套...
CDH/HDP迁移星环大数据产品TDH
.
06-02 1424
通过8种独立的存储引擎，支持业界主流的10种存储模型：关系型数据存储、宽表存储、搜索引擎、地理空间 存储、图存储、键值存储、事件存储、时序存储、文本存储、对象存储。星环科技TDH已完成与主流信创生态厂商的适配互认工作，适配长城飞腾、华为泰山、浪潮等服务器，鲲鹏、飞腾CPU，麒麟、统信等OS，并有官方认证，支持基于ARM与X86服务器服务器混合部署并有落地案例，满足信创验收要求。TDH的多模架构，支持关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型；整个易用性、开发效率和运行效率都提高很多。
大数据平台比较-CDH、HDP、CDP
热门推荐
Allenzyg的博客
08-24 4万+
说到大数据，不得不提一下Hadoop。先来谈一谈 Apache Hadoop与CDH、HDP的比较 一、Hadoop版本综述 不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称HDP），对于国内而言，绝大多数选择CD
cdh5-MariaDB 配置
08-23
在Cloudera Distribution Including Hadoop (CDH) 的环境中，MariaDB 被广泛用作数据存储解决方案。本篇文档将详细介绍如何针对CDH5环境下的MariaDB进行配置优化，确保其能够稳定高效地支持大规模的数据处理需求。 ...
Kudu运维篇：CDH6 kudu跨集群迁移数据同步（一）
最新发布
这个人很懒。
05-28 926
在大数据环境中，跨集群的数据迁移和同步是非常重要的操作。本文将详细介绍如何在 CDH6 集群中使用 Kudu 进行跨集群的数据迁移和同步。
CDH迁移 | CDH/HDP迁移之路
shaoqigulang的博客
04-05 888
哪些用户需要迁移 原社区版用户 社区版不再更新 Cloudera(Cloudera 和Hortonworks 合并后)所有产品不再提供社区版，用户无法获取新的功能。 社区版不再免费 2021年1月31日开始，所有Cloudera软件都需要有效的订阅，且订阅费昂贵（50个节点，一年订阅费50万美元）。 原企业版用户 企业版不再更新 Cloudera 和Hortonworks 合并后推出了新一代大数据平台 CDP，CDH 6和HDP 3将是CDH和HDP的最后企业版本，用户无法继续获取新的功能和
CDH集群 HDFS数据存储 更换目录
马丘
08-09 7081
1.问题梳理： CDH集群中，数据文件位置默认在 /dfs/dn 中，这个目录所属的盘符是 /，但是 ‘/’只有50G大小，还有其他各种文件的日志什么的，空间很紧张。今天启动脚本上传文件到hive，因为空间问题一直报错。查阅了资料，需要将CDH集群 HDFS数据存储 更换目录。 通过命令查看各个盘符 占用情况 df -h 我当时占用100%。必须更换数据目录。 2. 处理 1. 定位思路 先将...
CDH 之 hive 数据迁移_cdh数据互导(1)
2401_84166811的博客
04-27 337
默认情况下，Hive使用当前用户的身份来执行操作，因此需要确保当前用户（在这种情况下为“root”）具有在HDFS上创建目录的权限，或者进入 hdfs 用户进行操作。将导下来的 tables.sql 和 test.db 库文件上传至目标服务器，导入 sql 文件（前提是源服务器和目的服务器的hive版本要一致，否则需要做相关转换）2.将原服务器中 hive 库文件复制到本地（将 test 这个数据库文件复制到本地 /path/to/destination 目录下，这个会消耗比较长的时间）
大数据技术之集群数据迁移
运维仙人
04-20 1668
在大数据集群数据迁移的项目中涉及到很多技术细节，本博客记录了迁移的大致的操作步骤。迁移借用Hadoop自带的插件：distcp。
CDH 之 hive 数据迁移
予挚之的博客
05-30 1104
当你想切换了集群想把hive迁移至新集群，两个集群之间又互不相通，一个最简单快捷的方法，就是批量导出元数据信息，同时把数据文件下载上传至新服务器的数据文件存放目录下。将导下来的 tables.sql 和库文件上传至目标服务器，导入 sql 文件（前提是源服务器和目的服务器的hive版本要一致，否则需要做相关转换）上面的test.sql我只加了一条 create 数据，但是实际导出的sql文件是包含很多条create语句的，执行会出现如下错误。元数据导入成功之后，进行数据导入，这里也只测试了其中一个表数据。
Sentry元数据mysql_hive相关元数据迁移（mysql）
weixin_39762838的博客
01-30 190
[mysqld]#transaction-isolation=READ-COMMITTED# Disabling symbolic-links is recommended to prevent assorted security risks;# to do so, uncomment this line:# symbolic-links=0socket=/var/lib/mysql/mysql....
大数据集群迁移整理
MDZ_1122333322的博客
07-29 2619
（3）借助公司大数据团队提供的binlog解析采集工具，如基于开源的canal binlog parser模块二次开发的binlog接入工具，通过MySQL主从复制协议去业务db捕获增量变更数据（模拟MySQL slave，通过socket连接去拉取和解析数据，对于MySQL的性能损耗很小，按照MySQL官方的说法，损耗为1%），解析成json格式，写入kafka，最终由业务消费数据，按照自己需求写入hive，hbase，es等等异构数据源中；（1）修改业务代码，在写老库的地方，加上一句对新库的写操作；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值