hive集群的迁移及遇到的相关问题

最新推荐文章于 2022-02-11 16:51:27 发布

墨小月大大

最新推荐文章于 2022-02-11 16:51:27 发布

阅读量604

点赞数

文章标签： hive

本文链接：https://blog.csdn.net/analysis_data/article/details/79105902

版权

本文详细记录了Hive集群从一个服务器迁移到另一个服务器的过程，分享了实际操作中简便易行的步骤，包括数据迁移、配置更新等关键环节，同时探讨了可能遇到的问题及解决方案。

摘要由CSDN通过智能技术生成

hive集群的迁移，从一个服务器迁移到另一个服务器，网上的方法有很多，经本人实际操作，感觉好上手操作的，步骤如下：

 
 1. 设置默认需要导出的hive数据库 

 
 vi ~/.hiverc 

 
 use xx数据库; 

 
 2. 创建数据临时目录 

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

墨小月大大

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

hive和impala操作parquet文件timestamp带来的困扰

bsf5521的博客

05-24

3509

前言：准备使用hive作数据仓库，因历史遗留问题，原先遗留的数据处理都是impala处理的，数据文件是parquet文件，因本身集群资源少，而处理的文件很大，准备使用hive离线分析将小文件推送到db或者impala进行展示操作。准备：搭建cdh5.9，将原有的数据从一个集群迁移到现有的集群。对数据按照天进行动态分区，分区数据仍然使用parquet格式。问题：因分区字段为timestamp

Hadoop数据传输：如何将数据移入和移出Hadoop？

cuizhu6079的博客

10-08

1687

企业在项目中完全使用Hadoop之前，数据移动是必须解决的事情之一。如何将数千台主机日志数据放入Hadoop?从关系型或者No/NewSQL系统以及Hadoop中获取数据的最有效方法是什么?如何将Hadoop中生成的Luce...

参与评论您还未登录，请先登录后发表或查看评论

在hive中直接对timestamp类型取max报错

weixin_30640769的博客

04-05

924

之前直接对timestamp类型做max操作， select id,max(updatetime) updatetime from his.tag group by id; 结果查询的结果有的显示为1970-01-01，如下图：解决办法：先将timestamp类型用unix_timestamp函数转换成bigint 然后进行取max操作，最后再将结果通过from_un...

hive：从一台机器上的表数据导入到另一台机器的hive中的某张表（机器不互通）

不花的花和尚的博客

01-18

1645

先在第一台机器执行： 1.创建目录 root/dirTmp 2.导出数据 INSERT OVERWRITE LOCAL DIRECTORY '/root/dirTmp' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * from rencai_test limit 10000; 则创建的目录下已经有了数据： 3.此文件拷贝...

scp详解

黑客不黑撒

09-15

957

从本地服务器复制到远程服务器： (1) 复制文件：命令格式： scp local_file remote_username@remote_ip:remote_folder 或者 scp local_file remote_username@remote_ip:remote_file 或者 scp local_file remote_ip:remote_folder 或者 sc...

Hive跨集群和版本迁移

L, there!

07-05

1381

公司重新搭建CDH6.0.1，并把旧集群Hive1.1迁移新集群Hive2.1，记录一下过程。步骤：目录步骤： 1. 迁移Hive数据和MySQL中的matastore 1. 迁移Hive数据至新集群，在新集群上执行 2. 在源集群上MySQL导出Hive metastore 3. 在新集群使用Hive用户导入metastore 4. 升级Hive库 5. 修改meta...

hive 跨集群迁移

然月枕流君

01-20

7042

hive跨集群迁移数据工作中相对比较常见的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等.1. 迁移hdfs数据至新集群hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/risk-skipcrccheck 因

大数据-数据迁移-hive、hbase、kudu迁移

03-29

本文档详细记录了一次从自建Hadoop集群到华为云MRS（Managed Service for Big Data）的大规模数据迁移项目，涉及到了Hive、Kudu和HBase这三种不同类型的数据存储系统。以下是针对这些系统的迁移策略、流程和解决方案...

从一个hive集群迁移数据到另外一个集群的方法

最新发布

03-31

有以下几种方法可以从一个Hive集群迁移数据到另外一个集群： 1. 使用Hadoop命令行工具将数据从一个HDFS集群复制到另一个HDFS集群。首先，您需要在源集群中使用Hadoop命令行工具将数据从HDFS中导出到本地文件系统。...

hadoop迁移数据应用实例

search_forever的博客

01-04

1493

项目开发中hadoop一直装在虚拟机上，最近要迁移到服务器上。记录下迁移过程。一、为虚拟机添加一块新的硬盘虚拟机的初始硬盘只有30G，容不开要导出的数据。两种方式，一是给虚拟机扩容；二是为虚拟机添加一块新的硬盘。这里采取第二种方式。 1、添加虚拟硬盘至此，添加硬盘成功。 2、将硬盘分区要使用一块新的硬盘，需要先将硬盘分区，然后挂在文件系统上才能使用。

Hadoop迁移Namenode

depe16540458的博客

03-19

166

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn 小站博文地址：Hadoop迁移Namenode 一.前提及方案操作版本:社区版 Hadoop-1.0.3，其他版本不保证之前HBase没有考虑压缩，经过一段时间的研究和测试，打算在HBase中全面采用snappy压缩库。但是在节点上配置snappy时，发现其要求glibc版本在2.5+，而当前系统Cen...

EMR(hadoop/hbase/phoenix)夸集群数据迁移采坑记录

weixin_34387468的博客

06-25

247

一、概述： Hbase(Phoenix)数据迁移方案主要分为 Hadoop层面(distcp)、及Hbase层面(copyTable、export/import、snapshot) 二、以下针对distcp方案详细说明(以亲测阿里EMR为例)： step1：首先打通两个集群网络(建议内网)，新建一个tmp安全组，将两个集群的所有ECS都加入进...

Hadoop NameNode、DataNode热迁移方案

Viking的博客

03-12

1518

面试：你懂什么是分布式系统吗？Redis分布式锁都不会？>>> 最近我们生产环境的Hadoop集群需要调整几台服务器，具体转换关系如下： datanode92.bi -> namenode02.bi namenode01.bi（old) -> datanode19.bi namenode02.bi -> datanode20.bi 最终目标为： ...

将一台服务器上的文件放在另一台服务器的hdfs上

Starry_Xiao

09-14

2782

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.springframework.stereotype.Servic

Hive将有分区的数据表转移到另一个数据库中

DoNotTouchMyCode的博客

02-11

4564

最近遇到了一个问题，就是因为资源原因，需要把存储时间较长的数据转移到另外一个数据库中，操作其实很简单。假设我们要将A库里面的employee_table转移到B库里面的同框架employee_record表中，首先，在B库里面建立一个和A.employee_table一样的表，然后用一下语句： hive -e "alter table B.employee_record add partition (dt='${date}') location “此处为A.employee_table在dt=

Hive 复制表结构、表数据以及数据库迁移

qq_40771567的博客

11-24

4267

1、复制表或者迁移数据库 CREATE TABLE new_table AS SELECT * FROM old_table; 2、复制数据查看老表的hdfs文件位置（show create table xxx;） old_file_path 查看新表的hdfs文件位置 new_file_path; hdfs复制：hadoop fs -cpold_file_pathnew_file_path； 3、修复元数据 MSCK REPAIR TABLE new_table;修复新表的分区元数据..

hive数据迁移解决表同步问题

weixin_42806885的博客

01-28

883

Hive数据迁移方案：先通过shell脚本将集群1中hive的数据导入到hdfs中将集群1的hdfs中的数据下载在本地将集群1的本地数据发送到集群2的本地上；将集群2的本地的数据导入到集群2的hdfs上；将集群的hdfs上的数据导入到hive中。步骤： 1.对集群1节点与集群2节点进行免密登录 [root@节点1 .ssh]# ssh-keygen -t rsa [root@节点1 .ssh]# ssh-copy-id 节点2地址 [root@ 节点2 .ssh]# ssh..

关于使用export和import的2个报错