sqoop从hdfs导数据至oracle数据库

最新推荐文章于 2021-04-12 13:02:09 发布
最新推荐文章于 2021-04-12 13:02:09 发布
阅读量255 收藏
点赞数
文章标签： 数据库 大数据
环境: CentOS 5.7, CDH 4.3

1. 首先将ojdbc.jar文件拷贝到/u01/cloudera/parcels/CDH/lib/sqoop/lib目录下

2. 启动命令：

sqoop export --connect jdbc:oracle:thin:@xxx:1521:biprod --username sqoop_user --password sqoop_user --table OS_ZHIXIN_CHG --export-dir /tmp/zhixin_chg/20140911/20140911charge.zhixin2.log

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/16582684/viewspace-1269929/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/16582684/viewspace-1269929/

csdn666666666
关注
Sqoop与HDFS集成
程序员光剑
06-13 1014
Sqoop与HDFS集成 1. 背景介绍 1.1 大数据时代的数据集成需求 在当今大数据时代,企业面临着海量数据的采集、存储和分析的挑战。传统的数据库系统已经无法满足快速增长的数据量和多样化的数据类型的需求。因此,大数据技术应运而生,其中
oracle sqoop 导出_Sqoop从Hive导出数据到Oracle
weixin_39658474的博客
12-31 825
近期临时需要把几个Hive表导出到Oracle中，参考了一些网上的文章，很有帮助，但是并不是很顺利，还是踩了些坑，所以再写多一篇，希望能帮助有需要的朋友更快完成任务。首先要说下，因为没有长期或者大量的这种导出任务，所以我并没有花更多时间去做一些更自动化的脚本，Reference [1] 有个批量脚本，可以参考下。Oracle中建表要把Hive的数据往Oracle导，需要Oracle中存在对应的表，...
从HDFS中用mapreduce读取文件到Oracle数据库中BUG
qq_28358461的博客
04-22 260
java.lang.Exception: java.io.IOException: ORA-00911: 无效字符 经过调试，发现对oracle的支持在生成查询语句的语法时有个小的问题，语法不正确。 需要修改DBOutputFormat中的constructQuery方法 query.append(");");//去掉其中的; ==>query.append(")"); ...
Sqoop 从hdfs中把数据导出到oracle
zhushulikm的专栏
03-14 3158
Sqoop 从hdfs中把数据导出到oracle
sqoop操作之HDFS导出到ORACLE
weixin_33943836的博客
08-06 264
注意：在导出前需要先创建待导出的表结构。如果导出的表在数据库中不存在则会报错；如果重复导出多次，表中的数据会重复； create table EMP_DEMO as select * from EMP where 1=2; create table SALGRADE_DEMO as select * from SALGRADE where 1=2;   导出表的所有字段 sq...
基于OGG的Oracle与Hadoop集群准实时同步介绍
qian_xiaoqian的博客
11-16 5600
版权声明：本文由王亮原创文章，转载请注明出处:  文章原文链接：https://www.qcloud.com/community/article/220 来源：腾云阁 https://www.qcloud.com/community Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，
Hadoop-Sqoop-Oracle:使用Sqoop在Oracle数据库和HDFS之间进行导入和导出
04-07
使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 内容 使用 操作系统-Ubuntu 20.04.1 LTS（VMware） 后端-Java （JDK 1.8）， Sqoop（v1.4.7） ， Hadoop（v3.3.0） 库-OJDBC（v7），commons-lang-2.6.jar ...
hdfs数据导入mysql_通过sqoop将hdfs数据导入MySQL
weixin_32678995的博客
01-27 2085
简介：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。一、查看hdfs数据查看，参考[root@hadoop001 opt]# hadoop f...
sqoop从oracle到hive,sqoop从oracle数据库抽取数据,导入到hive
weixin_32503531的博客
04-10 1306
环境:hadoop-2.7.5sqoop-1.4.7zookeeper-3.4.10hive-2.3.3 (使用mysql配置元数据库)jdk1.8.0_151oracle 11.2.0.3.0经过一番baidu,总算初步成功,现在记录一下中间过程.1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn.sh,将变量设置为对应的目录.export...
sqoop操作之HIVE导出到ORACLE
天青色等烟雨 而我在等你
03-22 5297
示例数据准备hive中创建dept表create table dept(     deptno int,     dname string,     loc string ) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile;导入数据：sqoop import --...
使用JDBC将数据从Oracle导入到HDFS中
XueEaten的博客
10-30 2020
从Oracle导入数据到HDFS中最常见的方式就是利用sqoop，但是使用sqoop是有一些前提要求的，当我们因为某些原因不能使用sqoop时，就应该考虑其他的方式了，比如java中最常用的jdbc。本文就是我以一个编程新手的身份处理这个需求的全部过程及体会，其中还会包含一些作为新手初次使用maven构建遇到的问题以及从mysql到oracle的不适应导致的一些问题等等。 首先，在网上查了一些资料...
连接Oracle与Hadoop(1) 使用OLH加载HDFS文件到Oracle
weixin_30242907的博客
12-10 272
OLH是Oracle Loader for Hadoop的缩写，Oracle的大数据连接器（BDC）的一个组件，可将多种数据格式从HDFS上加载到Oracle数据库库中。 本文在同一台服务器上模拟oracle数据库与hadoop集群，实验目标：使用OLH从Hadoop端的HDFS加载数据到Oracle表中。 Oracle端： 服务器 系统用户 ...
将Oracle数据导入HDFS
Mozart__的博客
12-19 1192
将Oracle数据导入HDFS一、安装sqoop二、导入至HDFS1.测试连接2.导入数据三、导入至Hive 一、安装sqoop 1）下载连接：http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/ 此处使用的是1.4.7版本 2）解压sqoop安装包到指定目录，如 [Mozart@hadoop1 software]$ tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/moudle [Mozart@hadoop
sqoop从Hive同步数据到Oracle
戴着红领巾走世界
05-07 2649
最近工作中需要对Hive工单数据和oracle数据业务数据合起来出报表，所以需要从hive把工单数据同步到oracle中，这就用到了sqoop。 安装sqoop 由于我们是用的Ambari进行HDP的管理安装，所以只要在Ambari控制台中安装即可（当然也可以自己下包在主机上安装），安装完如下图所示： 官网参考文档传送门！ ...
利用Sqoop把Oracle数据迁移到HDFS、Hive
热门推荐
u010185220的专栏
01-17 2万+
提示：以下操作是在Xshell终端进行的，导入数据后若在Xshell终端上查看导入的数据，数据中的中文会出现乱码。要在Linux系统（最好是在可视化的Linux系统端）中去查看数据不会出现乱码。本人刚开始一直都是在Xshell上进行数据的导入、查看测试，花了一天时间解决“乱码”情况都没解决，最后才知是Xshell终端的问题，这里提示一下。一、利用Sqoop，从Oracle到HDFS第一步：把Ora
Sqoop全量和增量导入数据到Oracle数据库
邹中凡
11-13 5904
1，全量导入 示例： –全量导入 sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table
sqoop入oracle百万数据,Sqoop工具使用(三)--把HDFS中的数据导入到Oracle
weixin_33438811的博客
04-12 456
sqoop export工具把HDFS中的数据导入到rdbms系统中，实现方式有三种：(1)insert mode:生成insert语句然后执行，这是默认的方式(2)update mode:生成update语句，替换数据库中的记录(3)call mode:调用存储过程处理每一条记录：通用参数在import部分已经描述过了，这里着重描述export参数。重要选项：--input-null-strin...
使用sqoop在HDFS与MySQL间迁移数据
"sqoop基础命令涉及将数据在HDFS与MySQL、Oracle数据库间进行迁移的流程，包括安装配置Sqoop、设置环境变量、连接MySQL数据库以及执行导入导出操作。" 在大数据处理中，Sqoop是一款用于在Apache Hadoop与传统关系型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值