从Oracle数据库中导入数据到Hive中的脚本

最新推荐文章于 2022-06-21 10:32:39 发布
最新推荐文章于 2022-06-21 10:32:39 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： shell脚本 文章标签： shell hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qxf1374268/article/details/78520537
版权
本文介绍了一个名为test.bash的Shell脚本，该脚本用于从Oracle数据库中导出数据并将其加载到Hive中。通过执行config.sh配置文件，实现了数据迁移的过程。
摘要由CSDN通过智能技术生成

这个是test.bash的脚本代码，话说shell是真的*

#!/bin/sh
source ../config.sh

# 数据库
HIVE_DB=raw

if [ $# == 1 ]
    then
    echo "table:$1"
    tables=($1)
else
    tables=('DEMO2' 'QXF')
fi

for ele in ${tables[*]}
do
    table=
最低0.47元/天 解锁文章
101之歌
关注
专栏目录
用sqoop将Oracle数据全量/增量导入到HIve的Shell/python脚本(第二版)
qq_40870024的博客
02-15 2389
全量导入 #!/usr/bin/env bash # /bin/bash biz_date=20210101 biz_fmt_date=2021-01-01 dw_parent_dir=/data/dw/ods/one_make/full_imp workhome=/opt/sqoop/one_make full_imp_tables=${workhome}/full_import_tables.txt mkdir ${workhome}/log orcl_srv=oracle.bigdata.cn or
抽取ORACLE表数据到HIVE
weixin_30273931的博客
09-14 483
1 #!/bin/bash 2 ##----------------------------------------------------------------------------------------- 3 ##--程序名称：抽取ORACLE表数据到HIVE 4 ##--功能描述: 每日全量抽取。 5 ##--参 数：etl_date 业务日...
Oracle中数据迁移到hive平台
qq_43528451的博客
09-01 3546
Oracle中数据迁移到hive平台 ​ 序言：数据从Oracle平台导出为csv格式，上传至hdfs上，在hive上load至临时表，最后insert到目标表，完成数据Oracle中数据迁移到hive平台。（表名及字段等信息属于公司敏感信息，用别的信息代替展示） 1、将数据从oracle导出为csv文件格式 oracle导出数据采用sqluldr 工具 sqluldr user/pasword query='select * from student where age = 10' file='/ho
实现Oracle到Hive数据同步更新的shell脚本
weixin_44455388的博客
03-24 4300
Sqoop实现将 Oracle中的增量数据导入 Hive，并更新Hive中的主表: shell脚本: #!/bin/bash #Please set the synchronize interval,unit is hour. update_interval=24 #Please set the RDBMS connection params rdbms_connstr="jdbc:ora...
sqoop导oracle数据库的数据到hive
csdn666666666的博客
01-31 94
环境：CentOS 6.3, hive-0.9.0-cdh4.1.2,Oracle database 11g 执行语句：sqoop import --connect jdbc:oracle:thin:@m1-...
oracle导入到hive中,sqoop操作之ORACLE导入到HIVE
weixin_39587010的博客
04-12 1231
导入表的所有字段sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \--username SCOTT --password tiger \--table EMP \--hive-import --create-hive-table --hive-table emp -m 1;如果报类似的错:ERROR tool.I...
用sqoop将Oracle数据全量导入到HIve的Shell脚本(第一版)
qq_40870024的博客
01-14 951
前言: 这是本人写的Shell脚本,可用于 sqoop将Oracle数据全量/增量 导入到HIve中,也为大家提供了详细的注释 运行条件:在linux中运行下面脚本时,需要传入时间参数,来记录每次导入的时间,来减少工作失误. #!/bin/bash ##----------------------------------------------------------------------------------------- ##--程序名称：抽取ORACLE表数据到HIVE ##--功能描述: 每日
基于sqoop将hive数据导入到Oracle中
06-21 3423
根据项目的需要，数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。hive的分区表数据–>oracle的实体表中数据表oracle创建:(字段与hive保持一致）sqoop中导入可能存在的问题，hive表的存储格式为textfile时，使用export-dir参数时导入的数据会有脏数据的情况，记得要手动处理掉！！sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入。 ......
如何使用 datax 拉取 oracle 中的数据到 hive 中？
qq_43368947的博客
07-08 1681
需求 将oracle中的表拉取到hive中 步骤 先在oracle中的某一个库中里创建一张表（我这里的库是TEXT） create table stu( id number(5), name VARCHAR2(20), grade NUMBER(5), score NUMBER(5) ) INSERT INTO STU VALUES(1,'李四',8,100); INSERT INTO STU VALUES(2,'多多',9,115); INSERT INTO STU VALUES(3,'熊安安',7,9
kettle 从oracle数据库导数据到hive 表
03-23
由于公司要把oracle 数据库迁移到hive ，hbase 环境，特建议使用kettle做数据迁移，调试3个小时，终于调试成功，顺手写了个配置文档。
ORACLE导入数据自动运行脚本
12-28
批处理文件直接运行即可，用文本文件打开，可看到详细sql语句
datax数据从hive导入mysql数据缺失解决
01-18
datax数据从hive表导入mysql表,数据缺失解决
【甘道夫】Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ，并更新Hive中的主表
甘道夫的大数据进化论
08-21 4105
需求 将Oracle中的业务基础表增量数据导入Hive中，与当前的全量表合并为最新的全量表。 设计 涉及的三张表： 全量表：保存了截止上一次同步时间的全量基础数据表 增量表：增量临时表 更新后的全量表：更新后的全量数据表 步骤： 通过Sqoop将Oracle中的表导入Hive，模拟全量表和增量表 通过Hive将“全量
华为平台loader从关系型数据库到hive
MyHeartIsYours的专栏
05-04 3185
使用华为平台loader将数据从mysql或者oracle中导入至hive中，中间是有过渡的，并不是直接将数据导入至hive中，loader导入完成后，数据会在hdfs上，在导出的文件夹下会有n个文件，假设文件夹为/app/test/，那么还需要执行以下语句才能将数据导入至hive库中：load data inpath '/app/test' into table table_name注意在loa...
从Oracle导入数据到Hive中
每个人为不同的理由带着面具说谎，动机也只有一种名字那 叫做欲望
10-16 2118
Oracle导入数据到Hive Oracle Hive 大数据
利用Sqoop把Oracle数据迁移到HDFS、Hive
热门推荐
u010185220的专栏
01-17 2万+
提示：以下操作是在Xshell终端进行的，导入数据后若在Xshell终端上查看导入的数据，数据中的中文会出现乱码。要在Linux系统（最好是在可视化的Linux系统端）中去查看数据不会出现乱码。本人刚开始一直都是在Xshell上进行数据的导入、查看测试，花了一天时间解决“乱码”情况都没解决，最后才知是Xshell终端的问题，这里提示一下。一、利用Sqoop，从Oracle到HDFS第一步：把Ora
Redis-非关系型数据库
Suweika的博客
10-11 624
Redis是一款内存高速缓存数据库，客户端访问web端时，php直接访问MYSQL数据库速度不是很快，这时redis可以作为MYSQL的缓存，他把mysql的数据缓存在内存中，而不是磁盘中，所以redis的查询速度更快。 Redis-非关系型数据库：不是关系型模型为基础构建的数据库 基于缓存，速度快；支持多种数据结构 消耗内存相对较少，支持数万的QPS 支持持久化存储 MYSQL还是要用的，因为大多数的数据都还是有关联的，Reids做不了，并且Reids有可能丢失数据 关系型数据库优点： .
sqoop脚本抽取hive数据到oracle
最新发布
03-31
以下是一个示例sqoop脚本，用于将Hive中的数据抽取到Oracle数据库中： ``` sqoop export \ --connect jdbc:oracle:thin:@localhost:1521/orcl \ --username oracle_username \ --password oracle_password \ --table oracle_table_name \ --export-dir hive_table_name \ --input-fields-terminated-by ',' \ --input-lines-terminated-by '\n' \ --input-null-string '\\N' \ --input-null-non-string '\\N' ``` 其中，需要替换以下参数： - `jdbc:oracle:thin:@localhost:1521/orcl`：Oracle数据库的连接URL。 - `oracle_username`：Oracle数据库的用户名。 - `oracle_password`：Oracle数据库的密码。 - `oracle_table_name`：要将数据导入的Oracle表的名称。 - `hive_table_name`：要从Hive导出数据的表的名称。 - `--input-fields-terminated-by ','`：指定Hive表中列之间使用逗号分隔。 - `--input-lines-terminated-by '\n'`：指定Hive表中行之间使用换行符分隔。 - `--input-null-string '\\N'`：指定Hive表中空字符串的表示方式。 - `--input-null-non-string '\\N'`：指定Hive表中非字符串类型的空值的表示方式。 注意：在运行此脚本之前，请确保已经安装并配置了Sqoop，并且Oracle数据库已经正确配置并且可以连接。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值