Hive导生产数据到测试环境的步骤

最新推荐文章于 2023-07-14 08:46:35 发布
最新推荐文章于 2023-07-14 08:46:35 发布
阅读量473 收藏
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34341930/article/details/109306902
版权

现在导数的原则变了，直接按分区表导数，数据可以直接put到测试环境目标表。
hdfs dfs -put NAS盘位置  hdfs位置
MSCK REPAIR TABLE tableName   ----注意刷新一下元数据

如果读不出数据，就是生产和测试环境数据结构有问题了。需要根据建表语句进行比对。生产环境建表语句见：show_create_table.txt
 

FangStar8Jeff
关注
专栏目录
大数据NiFi（二十）：实时同步MySQL数据到Hive
Lansonli（蓝深李）的博客
02-26 6947
连接关系中，我们这里只关注“insert”和“update”的数据，后期获取对应的属性将插入和更新的数据插入到Hive表中，对于“delete”的数据可以路由到其他关系中，例如需要将删除数据插入到另外的Hive表中，可以再设置个分支处理。登录mysql ,使用“mynifi”库，创建表“test2”。以上获取的tablename名称为“test2”，后面这个sql是要将数据插入到Hive中的，所以这里在Hive中也应该创建“test2”的表名称，或者将表名称写成固定表，后期在Hive中创建对应的表即可。
从Hive生产环境distcp同步HDFS数据到测试环境的脚本
靓仔！——没错！我叫你呢！
07-30 539
#!/bin/bash #转小写 typeset -l table_nm table_nm=$1 #用法事例 usage(){ echo "USAGE: $0 db名.表名 [分区键=分区值]" echo "EXAMPLE: $0 mreport_global.dim_food_area" echo "EXAMPLE: $0 mreport_poultry.dmf_sales_order_detail op_month=202011" e.
hive表数据迁移（生产集群->测试集群）
lhxsir的博客
05-17 678
由于需要在测试环境测试hive表逻辑，但是测试集群没有相关表及数据， 所以采用最简单的方式：通过hue从生产集群下载文件，然后通过hue上传到测试集群 但是。。 hive表是分区的而且每个分区下面都N多个小文件，于是编写shell脚本： #! /bin/bash mkdir -p ./tmp/table rssc_array=("201901" "201902" "201903" "201904...
sqlserver把生产库的数据导出到测试库
gongsizhen的专栏
04-23 2086
一、数据库整体导出 1、第一种方式，利用备份还原功能： 右击需要导出的数据库，然后选择“任务”—>“备份”， 然后点击“确定”，就可以备份数据库文件了。 把生产环境备份好的数据库文件拷贝到测试环境。在还原数据库的时候，需要将原数据库删除，然后单击“数据库”--->“还原数据库”，“目标数据库”中输入数据库名称，“还原的源”选择“源设备”，然后添加数据库备份文件，点击“确定”，即...
Elasticsearch通过kibana将生产环境的表同步到测试环境
w184414332的博客
06-20 601
Elasticsearch通过kibana将生产环境的表同步到测试环境
hive数据导入
tjy_521的博客
06-21 238
快速导入hive数据的方法 需求：将生产上的某个hive库中的数据导入测试环境中。 思路：因为hive中的数据也是存在于linux服务器的磁盘中，只需要将相应的hive库中的数据文件传到测试环境相应的hive库中即可。 拓展：hive的数据是存放在hdfs上的，eg：mydb库中test表是以stat_dt作为分区字段的，则stat_dt=‘2019-06-21’中的数据文件在hdfs的存储格式为...
大数据Hive测试数据uaction.rar
09-30
标题中的“大数据Hive测试数据uaction.rar”指的是一个用于测试Hive处理能力的数据集，这个数据集主要关注用户操作记录。Hive是Apache Hadoop生态系统中的一个组件，它提供了一个基于SQL的查询语言（HQL）来处理和...
kettle 从oracle数据库导数据到hive 表
03-23
### Kettle 从 Oracle 数据库导数据到 Hive 表 #### 背景与目的 在企业级数据处理场景中，随着大数据技术的发展，越来越多的企业选择将原有的关系型数据库（如 Oracle）中的数据迁移到基于 Hadoop 生态系统的数据...
Hive整合hbase及导入数据测试
weixin_73756235的博客
11-04 1482
Hive是由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，底层依赖于HDFS存储数据，利用MapReduce进行计算，可以将结构化的数据映射为一张数据库表，并提供HQL。是 Apache Hadoop 的数据库，是建立在 HDFS 之上，被设计用来提供高可靠性、高性能、列存储、可伸缩、多版本的非关系型的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。（三）通过整合，不仅可完成HBase的数据实时查询，也可以使用Hive查询HBase中的数据完成复杂的数据分析。
开发中从生产库导入测试数据的一些记录
最新发布
lh87270202的博客
07-14 246
做开发的可能常常会自测一些功能，而测试环境的数据可能不是那么好生成，也不是很完善，所以需要从生产库导入一些数据。前提是你可以将生产库的数据导出到txt。
Hive的Udf函数进行数据脱敏
01-26
udf开发–做个简单脱敏udf保留前5位，后面全部替换成*****
hive数据迁移解决表同步问题
weixin_42806885的博客
01-28 883
Hive数据迁移方案： 先通过shell脚本将集群1中hive的数据导入到hdfs中 将集群1的hdfs中的数据下载在本地 将集群1的本地数据发送到集群2的本地上； 将集群2的本地的数据导入到集群2的hdfs上； 将集群的hdfs上的数据导入到hive中。 步骤： 1.对集群1节点与集群2节点进行免密登录 [root@节点1 .ssh]# ssh-keygen -t rsa [root@节点1 .ssh]# ssh-copy-id 节点2地址 [root@ 节点2 .ssh]# ssh..
实现hive到hive数据迁移(同步)
weixin_44455388的博客
03-24 8346
背景: 存在某种情况，HIVE数据可能要从一个HDFS中，传到另一个hdfs中。可以说是迁移，也可能是数据同步。 步骤: 假设有一张user表如下： CREATE TABLE `jc_db.t_user` ( `id` bigint COMMENT '主键', `username` string COMMENT '账号', `password` string COMMENT '密码',...
Hive 安装与hive数据的导入导出与3种数据的格式的导入附查看命令
Mogeko1的博客
10-21 932
Hive 安装与数据的导入导出，附3种数据格式的导入（map、array、struct）加查看命令
hive表中加载数据方式:表数据的导入五种方式
11-26 6943
直接向分区表中插入数据 create table score3 like score; insert into table score3 partition(month ='201807') values ('001','002','100'); 通过查询插入数据 通过load方式加载数据 load data local inpath '/export/servers/hivedatas/s...
生产数据导入测试环境碰见的一些问题
bisal的专栏
08-01 3854
我们某一个系统的夜维出现了性能的问题，删除N张表，数据量从几万到几百万不等，现在需要3.5-4个小时，看了一下SQL AWR，有些采用了TABLE ACCESS FULL，而且是数据量百万级的表，并且一次删除5000条，批量要删除几百次，相当于执行几百次TABLE ACCESS FULL，效率可想而知。大家讨论后，决定除了索引、SQL语句，从夜维程序逻辑上也要优化，提出了一些方案，目前正处于测试中
从生产环境同步代码到测试服务器
至尊玉的个人笔记
03-03 2207
有时候测试环境的代码需要同步一下最新的，来保证项目部署的环境。 要求： 1.指定服务器目录，把此目录下所有的子文件夹及包含的文件，同步到指定的测试 服务器的目录。 2.可以过滤指定的文件、文件夹，来保证效率。例如过滤.log文件、conf目录等等 3.记录日志，某文件失败了，不影响继续同步其余的文件。 4.完成后有成功的返回。最好 有进度条。用python实现，练习练习。
分享一次hive跨集群数据同步采坑经验 - 细节是魔鬼！
明哥的IT随笔
01-11 1507
大数据集群内部都有节点级别和机架级别的容错机制（存储层对应的就是传统的三副本或纠删码机制），但对于一些数据安全性要求更改的场景，就需要做跨集群的数据同步了，比如在金融行业典型的两地三中心场...
HIve：创建hive表并通过HDFS文件进行导入数据（速度最快）
小栋哟
11-29 6201
最近这个项目做hive建表在导入数据的时候，数据量大的时候难免会慢一点，现在又发现了一种新的导入数据方式； 使用hdfs的文件进行导入，所以要使用的话就得先把文件上传到hdfs再操作 三个前提：1.文件必须已经上传到hdfs，否则不行。2.这个表必须是不存在的，不能在已表上进行叠加数据；3.必须是目录级别，不能具体到文件；如果目录底下有多个文件，将会把所有文件数据都导入进去；如果正好需要将目录...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值