sqoop从hdfs导数据至oracle数据库

最新推荐文章于 2022-06-21 10:32:39 发布
最新推荐文章于 2022-06-21 10:32:39 发布
阅读量262 收藏
点赞数
文章标签： 数据库 大数据
环境: CentOS 5.7, CDH 4.3

1. 首先将ojdbc.jar文件拷贝到/u01/cloudera/parcels/CDH/lib/sqoop/lib目录下

2. 启动命令：

sqoop export --connect jdbc:oracle:thin:@xxx:1521:biprod --username sqoop_user --password sqoop_user --table OS_ZHIXIN_CHG --export-dir /tmp/zhixin_chg/20140911/20140911charge.zhixin2.log

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/16582684/viewspace-1269929/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/16582684/viewspace-1269929/

csdn666666666
关注
Sqoop与HDFS集成
AI天才研究院
06-13 1041
Sqoop与HDFS集成 1. 背景介绍 1.1 大数据时代的数据集成需求 在当今大数据时代,企业面临着海量数据的采集、存储和分析的挑战。传统的数据库系统已经无法满足快速增长的数据量和多样化的数据类型的需求。因此,大数据技术应运而生,其中
oracle sqoop 导出_Sqoop从Hive导出数据到Oracle
weixin_39658474的博客
12-31 871
近期临时需要把几个Hive表导出到Oracle中，参考了一些网上的文章，很有帮助，但是并不是很顺利，还是踩了些坑，所以再写多一篇，希望能帮助有需要的朋友更快完成任务。首先要说下，因为没有长期或者大量的这种导出任务，所以我并没有花更多时间去做一些更自动化的脚本，Reference [1] 有个批量脚本，可以参考下。Oracle中建表要把Hive的数据往Oracle导，需要Oracle中存在对应的表，...
基于sqoop将hive数据导入到Oracle中
06-21 3459
根据项目的需要，数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。hive的分区表数据–>oracle的实体表中数据表oracle创建:(字段与hive保持一致）sqoop中导入可能存在的问题，hive表的存储格式为textfile时，使用export-dir参数时导入的数据会有脏数据的情况，记得要手动处理掉！！sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入。 ......
从HDFS中用mapreduce读取文件到Oracle数据库中BUG
qq_28358461的博客
04-22 274
java.lang.Exception: java.io.IOException: ORA-00911: 无效字符 经过调试，发现对oracle的支持在生成查询语句的语法时有个小的问题，语法不正确。 需要修改DBOutputFormat中的constructQuery方法 query.append(");");//去掉其中的; ==>query.append(")"); ...
Sqoop 从hdfs中把数据导出到oracle
zhushulikm的专栏
03-14 3174
Sqoop 从hdfs中把数据导出到oracle
Sqoop从Hive导入Oracle
docsz的博客
04-15 1613
1、Sqoop从Hive导入Oracle sqoop export \ --connect "jdbc:oracle:thin:@//IP:1521/orcl" \ --username "root" \ --password "123456" \ --table STG_ZFW_WANGGEXINXI \ --export-dir /user/hive/warehouse/mask_data.db/stg_zfw_wanggexinxi/* \ --columns XM,ZJHM,WANGGE,BUILD
CDH中Sqoop的使用心得
Rio.的博客
05-08 4233
Sqoop服务添加 Sqoop版本选择 CDH自带两个版本sqoop组件 这里选择1.4.6版本也就是sqoop1，1.99.5版本是sqoop2，是半成品，不支持关系型DB到Hive跟Hbase，故不推荐使用 Sqoop导入mySql数据到Hive操作 1、测试MySQL连接 sqoop list-databases --connect jdbc:mysql://192.168.20.160...
Hadoop-Sqoop-Oracle:使用Sqoop在Oracle数据库和HDFS之间进行导入和导出
04-07
使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 内容 使用 操作系统-Ubuntu 20.04.1 LTS（VMware） 后端-Java （JDK 1.8）， Sqoop（v1.4.7） ， Hadoop（v3.3.0） 库-OJDBC（v7），commons-lang-2.6.jar ...
hdfs数据导入mysql_通过sqoop将hdfs数据导入MySQL
weixin_32678995的博客
01-27 2110
简介：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。一、查看hdfs数据查看，参考[root@hadoop001 opt]# hadoop f...
sqoop从oracle到hive,sqoop从oracle数据库抽取数据,导入到hive
weixin_32503531的博客
04-10 1325
环境:hadoop-2.7.5sqoop-1.4.7zookeeper-3.4.10hive-2.3.3 (使用mysql配置元数据库)jdk1.8.0_151oracle 11.2.0.3.0经过一番baidu,总算初步成功,现在记录一下中间过程.1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn.sh,将变量设置为对应的目录.export...
Hadoop数据迁移--从Oracle向Hadoop
05-28
通过使用MapReduce的方式，使Hadoop可以直接访问Oracle，并将相关的数据写入到HDFS文件当中。 从而可以顺利地将Oracle中的数据迁移到Hadoop文件系统中。
Hadoop数据迁移--从Hadoop向Oracle
05-28
通过使用MapReduce的方式，使Hadoop可以直接访问Oracle，并将HDFS中的数据写入到Oracle当中。 从而可以顺利地将Hadoop中的数据迁移到Oracle文件系统中。
sqoop操作之HDFS导出到ORACLE
weixin_33943836的博客
08-06 271
注意：在导出前需要先创建待导出的表结构。如果导出的表在数据库中不存在则会报错；如果重复导出多次，表中的数据会重复； create table EMP_DEMO as select * from EMP where 1=2; create table SALGRADE_DEMO as select * from SALGRADE where 1=2;   导出表的所有字段 sq...
使用sqoop2实现hdfs与Oracle数据相互导入
cakecc2008的专栏
10-14 8386
上一篇已经完成了sqoop2的安装，本篇文章介绍sqoop2将数据从Oracle导入hdfs已经从hdfs导入Oracle 1、连接sqoop2服务 sqoop2是c/s模式，之前安装并启动的是sqoop的服务端，如果想要使用和操作sqoop2，需要通过客户端连接到服务端，然后使用。只要保证服务端正常处于运行状态，客户端可以从任意终端发起。也就是说，客户端可以是一台只解压了sqoop2安装包的
使用sqoop从Oracle或mysql抽取数据到HDFS遇到的报错及解决
热门推荐
勤能补拙
12-15 1万+
一、参考文档： 1、https://www.rittmanmead.com/blog/2014/03/using-sqoop-for-loading-oracle-data-into-hadoop-on-the-bigdatalite-vm/ 2、http://www.cnblogs.com/bjtu-leefon/archive/2013/06/28/3160549.html 二、
sqoop2将Oracle数据导入HDFS
大数据同盟会的博客
10-30 3829
Sqoop 是一个设计用于在 Apache Hadoop 和结构化数据存储（如关系数据库）之间高效地传输大批量数据的工具。Cloudera Manager 支持的版本为 Sqoop 2。 一、添加sqoop2到CDH 因为我使用的的CDH搭建hadoop集群，所以可以通过cloudera manager添加上sqoop2. 二、把Oracle驱动拷贝到Sqoop安装路径中的lib文件夹下 我的O...
sqoop export工具把HDFS中的数据导入到rdbms系统中，实现方式有三种
微笑看明天的专栏
05-07 1816
sqoop export工具把HDFS中的数据导入到rdbms系统中，实现方式有三种： (1)insert mode:生成insert语句然后执行，这是默认的方式 (2)update mode:生成update语句，替换数据库中的记录 (3)call mode:调用存储过程处理每一条记录： Common arguments Argument Description
使用sqoop在HDFS与MySQL间迁移数据
"sqoop基础命令涉及将数据在HDFS与MySQL、Oracle数据库间进行迁移的流程，包括安装配置Sqoop、设置环境变量、连接MySQL数据库以及执行导入导出操作。" 在大数据处理中，Sqoop是一款用于在Apache Hadoop与传统关系型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值