oracle导入impala,impala数据导入汇总

最新推荐文章于 2023-08-07 09:45:25 发布
最新推荐文章于 2023-08-07 09:45:25 发布
阅读量484 收藏
点赞数
文章标签： oracle导入impala

数据进入到表中的几种不同方式：

1. put/distcp

hdfs dfs -put 从本地上传到hdfs

2.load data

[cdh2:21000] > select count(*) from tab1;

Query: select count(*) from tab1

+----------+

| count(*) |

+----------+

| 3279912  |

-----创建空表

[cdh2:21000] > create table tab2 like tab1;

Query: create table tab2 like tab1

Fetched 0 row(s) in 0.13s

[cdh2:21000] >

[cdh2:21000] > select count(*) from tab2;

Query: select count(*) from tab2

+----------+

| count(*) |

+----------+

| 0        |

+----------+

Fetched 1 row(s) in 5.31s

----load data(将目录tab1下的文件全部move到tab2下)

[cdh2:21000] > load data inpath '/user/hive/warehouse/db1.db/tab1' into table tab2;

Query: load data inpath '/user/hive/warehouse/db1.db/tab1' into table tab2

+----------------------------------------------------------+

| summary                                                  |

+----------------------------------------------------------+

| Loaded 1 file(s). Total files in destination location: 1 |

+----------------------------------------------------------+

Fetched 1 row(s) in 0.68s

[root@cdh0 data]# hdfs dfs -ls /user/hive/warehouse/db1.db/tab1

Found 1 items

-rw-r--r--   3 root hive  742707621 2015-01-23 10:35 /user/hive/warehouse/db1.db/tab1/xaa.csv

[root@cdh0 data]#

[root@cdh0 data]#

[root@cdh0 data]# hdfs dfs -ls /user/hive/warehouse/db1.db/tab2

[root@cdh0 data]#

[root@cdh0 data]#

[root@cdh0 data]#

[root@cdh0 data]# hdfs dfs -ls /user/hive/warehouse/db1.db/tab1

[root@cdh0 data]#

[root@cdh0 data]# hdfs dfs -ls /user/hive/warehouse/db1.db/tab2

Found 1 items

-rw-r--r--   3 root hive  742707621 2015-01-23 10:35 /user/hive/warehouse/db1.db/tab2/xaa.csv

[root@cdh0 data]#

----load之后，原表需要refresh，否则会报错

[cdh2:21000] > select count(*) from tab1;

Query: select count(*) from tab1

WARNINGS: Failed to open HDFS file hdfs://cdh0:8020/user/hive/warehouse/db1.db/tab1/xaa.csv

Error(2):

[cdh2:21000] > refresh tab1;

Query: refresh tab1

Fetched 0 row(s) in 0.56s

[cdh2:21000] >

[cdh2:21000] > select count(*) from tab1;

Query: select count(*) from tab1

+----------+

| count(*) |

+----------+

| 0        |

+----------+

Fetched 1 row(s) in 0.02s

3.ctas

[cdh2:21000] > create table tab3 STORED AS PARQUET as select * from tab2;

Query: create table tab3 STORED AS PARQUET as select * from tab2

+-------------------------+

| summary                 |

+-------------------------+

| Inserted 3279912 row(s) |

+-------------------------+

Fetched 1 row(s) in 4.85s

[cdh2:21000] >

[cdh2:21000] > select count(*) from tab3;

Query: select count(*) from tab3

+----------+

| count(*) |

+----------+

| 3279912  |

+----------+

Fetched 1 row(s) in 1.07s

以下遇到个问题和官当说法不同 where 1=0 没有起作用，以下是官方文档

-- Create new table and copy all data.

CREATE TABLE clone_of_t1 AS SELECT * FROM t1;

-- Same idea as CREATE TABLE LIKE, don't copy any data.

CREATE TABLE empty_clone_of_t1 AS SELECT * FROM t1 WHERE 1=0;

[cdh2:21000] > CREATE TABLE empty_clone_of_t1 AS SELECT * FROM tab1 WHERE1=0;

Query: create TABLE empty_clone_of_t1 AS SELECT * FROM tab1 WHERE 1=0

+-------------------------+

| summary                 |

+-------------------------+

| Inserted 5653782 row(s) |

+-------------------------+

Fetched 1 row(s) in 30.71s

4.insert方式

最简单，举个例子即可，不过insert分为into和overwrite，区别看眼就明白了

[cdh2:21000] > insert into tab1 select * from tab3;

Query: insert into tab1 select * from tab3

Inserted 3279912 row(s) in 17.11s

5.同一张表下支持不能格式的文件同时存放

[root@cdh0 data]# hdfs dfs -ls /user/hive/warehouse/db1.db/tab1

Found 4 items

-rw-r--r--   3 impala hive  291811534 2015-01-23 11:00 /user/hive/warehouse/db1.db/tab1/7a4d0328b98fcf78-8052e0dbd8c225b5_2104527952_data.0.

-rw-r--r--   3 impala hive  291745403 2015-01-23 11:00 /user/hive/warehouse/db1.db/tab1/7a4d0328b98fcf78-8052e0dbd8c225b6_2104527952_data.0.

drwxrwxrwt   - impala hive          0 2015-01-23 11:00 /user/hive/warehouse/db1.db/tab1/_impala_insert_staging

-rw-r--r--   3 root   hive  765975316 2015-01-23 16:08 /user/hive/warehouse/db1.db/tab1/xab.csv

[root@cdh0 data]#

[root@cdh0 data]#

[root@cdh0 data]#

[root@cdh0 data]# hdfs dfs -ls /user/hive/warehouse/db1.db/tab3

Found 3 items

drwxrwxrwt   - impala hive          0 2015-01-23 10:46 /user/hive/warehouse/db1.db/tab3/_impala_insert_staging

-rw-r--r--   3 impala hive   38022642 2015-01-23 10:46 /user/hive/warehouse/db1.db/tab3/f54a22a6adc813d6-a20d99d7d04209a8_1342452609_data.0.parq

-rw-r--r--   3 impala hive   29315637 2015-01-23 10:46 /user/hive/warehouse/db1.db/tab3/f54a22a6adc813d6-a20d99d7d04209a9_639956434_data.0.parq

[cdh2:21000] > load data inpath '/user/hive/warehouse/db1.db/tab1/7a4d0328b98fcf78-8052e0dbd8c225b5_2104527952_data.0.' into table tab4_ymd partition (year=2014,month=07,day=20);

Query: load data inpath '/user/hive/warehouse/db1.db/tab1/7a4d0328b98fcf78-8052e0dbd8c225b5_2104527952_data.0.' into table tab4_ymd partition (year=2014,month=07,day=20)

+----------------------------------------------------------+

| summary                                                  |

+----------------------------------------------------------+

| Loaded 1 file(s). Total files in destination location: 4 |

+----------------------------------------------------------+

Fetched 1 row(s) in 0.62s

[cdh2:21000] >

[cdh2:21000] > select count(*) from tab4_ymd;

Query: select count(*) from tab4_ymd

+----------+

| count(*) |

+----------+

| 1188650  |

+----------+

Fetched 1 row(s) in 1.32s

[cdh2:21000] >

[cdh2:21000] > load data inpath '/user/hive/warehouse/db1.db/tab3/f54a22a6adc813d6-a20d99d7d04209a8_1342452609_data.0.parq' into table tab4_ymd partition (year=2014,month=07,day=20);

Query: load data inpath '/user/hive/warehouse/db1.db/tab3/f54a22a6adc813d6-a20d99d7d04209a8_1342452609_data.0.parq' into table tab4_ymd partition (year=2014,month=07,day=20)

+----------------------------------------------------------+

| summary                                                  |

+----------------------------------------------------------+

| Loaded 1 file(s). Total files in destination location: 5 |

+----------------------------------------------------------+

Fetched 1 row(s) in 0.70s

[cdh2:21000] >

[cdh2:21000] > select count(*) from tab4_ymd;

Query: select count(*) from tab4_ymd

+----------+

| count(*) |

+----------+

| 1859533  |

+----------+

Fetched 1 row(s) in 1.30s

[cdh2:21000] >

[root@cdh0 data]#  hdfs dfs -du /user/hive/warehouse/db1.db/tab4_ymd/year=2014/month=7/day=20

0          0          /user/hive/warehouse/db1.db/tab4_ymd/year=2014/month=7/day=20/5e4e369df4ce6b75-7a6ae25d88d749e_1626585205_data.0.

0          0          /user/hive/warehouse/db1.db/tab4_ymd/year=2014/month=7/day=20/5e4e369df4ce6b75-7a6ae25d88d749f_571246668_data.0.

0          0          /user/hive/warehouse/db1.db/tab4_ymd/year=2014/month=7/day=20/5e4e369df4ce6b75-7a6ae25d88d74a0_571246668_data.0.

291811534  875434602  /user/hive/warehouse/db1.db/tab4_ymd/year=2014/month=7/day=20/7a4d0328b98fcf78-8052e0dbd8c225b5_2104527952_data.0.

38022642   114067926  /user/hive/warehouse/db1.db/tab4_ymd/year=2014/month=7/day=20/f54a22a6adc813d6-a20d99d7d04209a8_1342452609_data.0.parq

注意：

1.如果分区没有，load data不能自动创建

[cdh2:21000] > load data inpath '/user/hive/warehouse/db1.db/tab2' into table tab4_ymd partition (year=2014,month=07,day=19);

Query: load data inpath '/user/hive/warehouse/db1.db/tab2' into table tab4_ymd partition (year=2014,month=07,day=19)

ERROR: AnalysisException: Partition spec does not exist: (year=2014, month=7, day=19).

[cdh2:21000] >

2.目录不能包含嵌套

[root@cdh0 data]# hdfs dfs -ls /user/hive/warehouse/db1.db/tab2/*

Found 1 items

-rw-r--r--   3 root hive  742707621 2015-01-23 11:43 /user/hive/warehouse/db1.db/tab2/test/xaa.csv

-rw-r--r--   3 root hive  742707621 2015-01-23 10:35 /user/hive/warehouse/db1.db/tab2/xaa.csv

[cdh2:21000] > load data inpath '/user/hive/warehouse/db1.db/tab2' into table tab4_ymd partition (year=2014,month=07,day=20);

Query: load data inpath '/user/hive/warehouse/db1.db/tab2' into table tab4_ymd partition (year=2014,month=07,day=20)

ERROR: AnalysisException: INPATH location 'hdfs://cdh0:8020/user/hive/warehouse/db1.db/tab2' cannot contain subdirectories.

[cdh2:21000] >

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/10037372/viewspace-1411981/，如需转载，请注明出处，否则将追究法律责任。

机械堡垒
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sqoop抽数、推数（关系型数据库：oracle； 数仓：impala）
u013983161的博客
03-07 3061
1.从Oracle抽数到impala #!/bin/sh source /etc/profile source ~/.bash_profile sqoop import --connect jdbc:mysql://ip:3306/数据库名称 \ --username 用户名称 --password 密码 --table '表名' \ --columns 'columns1,colums2,colums3' \ --target-dir /FINBB/ODS/表名 \ --dele...
Apache Impala: Impala数据导入方式
12-10 5129
load data 首先创建一个表： create table user(id int ,name string,age int ) row format delimited fields terminated by "\t"; 准备数据user.txt并上传到hdfs的 /user/impala路径下去 加载数据 load data inpath '/user/impala/' into ...
大数据备忘录———将数据从oracle导入impala中
weixin_30716141的博客
06-24 385
上周遇到了将数据从oracle导入到impala的问题，这个项目耽误了我近一周的时间，虽然是种种原因导致的，但是还是做个总结。 需求首先是跑数据，跑数据这个就不叙述，用的是公司的平台。 讲讲耽误我最久的事吧 数据的导入导出。 将数据从oracle导出 PLSQL直接导出 我这边连接公司的orcle数据库是PLSQL，本身PLSQL就是可以可以导出数据的，而且很简单。 PLSQL在sel...
使用SparkSQL迁移oracle数据到impala创建的kudu表中,出现Primary key column riskcode is not set错误
bear
10-22 1367
前段时间公司业务需求，需要把oracle中的数据迁移到数据仓库中(kudu整合的hive)，为了使用kudu方便，kudu的日常操作通过impala来完成。由于第一次整合sparkSQL与kudu,所以打算通过一些demo记录一下遇到的问题。 oracle数据导入到kudu中，代码如下： object OracleToKudu { def main(args: Array[String]): Unit = { val spark = SparkSession.builder....
将impala中的数据导入到mysql中
weixin_30394633的博客
08-09 772
1、将数据导出到txt文件： impala-shell -q "use unicomm_poc_vip;select cellid,count(0) from lte_s1_tau_xdr group by cellid order by 2 asc" -B --output_delimiter="," --print_header -o /1.txt; 双引号中的...
Impala大数据分析引擎课程
06-08
课程分享——Impala大数据分析引擎，完整版视频课程下载。 课程介绍 Impala由Cloudera公司主导开发的大数据实时查询分析工具，宣称比原来基于MapReduce的HiveSQL查询速度提升3~90倍，且更加灵活易用。提供类SQL的...
Impala自动刷新元数据配置.docx
09-07
Impala 自动刷新元数据配置 Impala 是一个基于Apache Hadoop的高性能、实时查询引擎，用于快速查询大规模数据。但是，在使用 Impala 过程中，可能会出现元数据刷新更新慢的问题，导致查询报错。这是因为 Impala 在...
Impala高性能探秘之HDFS数据访问
02-24
Impala是一个高性能的OLAP引擎，Impala本身只是一个OLAP-SQL引擎，它访问的数据存储在第三方引擎中，第三方引擎包括HDFS、Hbase、kudu。对于HDFS上的数据，Impala支持多种文件格式，目前可以访问Parquet、TEXT、avro...
Impala大数据分析快速入门视频教程
10-21
手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 课程简介 从零开始讲解大数据分布式计算的发展及Impala的应用场景，对比Hive、MapReduce、Spark... 3.Impala元数据同步原理
impala数据导入汇总
cmoaai42662的博客
01-23 725
数据进入到表中的几种不同方式： 1. put/distcp hdfs dfs -put 从本地上传到hdfs 2.load data [cdh2:21000] > select count(*) from ...
采用jdbc连接Impala
07-24
简单的代码，采用JDBC连接Impala。内容有需要的lib包和一个TestImpala.java的类。需要自己创建一个java工程，并导入包运行。
Impala使用ORC文件格式
ChengYanan的博客
01-12 2222
注意： Impala 3.1版本之后才可以使用ORC格式 Impala官方文档描述： https://docs.cloudera.com/documentation/enterprise/6/6.1/topics/impala_orc.html#orc $ impala-shell -i localhost [localhost:21000] default> CREATE TABLE orc_table (x INT) STORED AS ORC; [localhost:21000] defaul
Impala的DML数据操作
最新发布
互联网知识分享
08-07 1210
数据操作章节的详细介绍，包括插入数据、更新数据、删除数据、批量导入数据、动态分区插入数据和数据导出。语句动态分区插入数据，动态分区是指根据数据的值自动创建分区。）语句对数据进行操作，包括插入、更新和删除数据。是要插入的列名列表，如果省略则表示插入所有列，关键字表示覆盖已有数据，默认为追加数据。语句用于指定要导出的数据。中的数据进行处理和管理。语句将数据插入到表中。是要插入数据的表名，语句更新表中的数据。是要更新数据的表名，语句删除表中的数据。是要删除数据的表名，是要导入数据的表名，是要插入数据的表名，
向表中插入数据oracle,用脚本实现向Oracle表中插入数据
weixin_42376793的博客
04-05 870
首先，安装及环境配置1. 安装Oracle - OraClient10g_home22. Net Configuration Assistant 配置步骤:假设数据库所在服务器IP地址为: 192.168.0.1数据库实例名为:ora92用户名: umap密码:umap第一步:打开配置程序位于:程序-->Oracle - OraClient10g_home2-->Configurat...
Sqoop工具使用（一)--从oracle导入数据到hive
xiaozhuangfeng的专栏
09-16 1727
sqoop import  -D oracle.sessionTimeZone=CST --connect jdbc:oracle:thin:@192.168.78.6:1521:hexel \ --username TRX --table SQOOP -m 1 --password trx    --warehouse-dir /xtld/data/gj/SQOOP \ --hive-imp
impala 建表，外部文件数据导入impala中
热门推荐
liuxiangke0210的专栏
12-31 1万+
在目录下/home/ipms/huang/msisdn.csv  有csv文件msisdn.csv 内容格式如下：   2.1查看hdfs上的目录：hdfs dfs -ls /   2.2在hdfs的/tmp目录下建立一个目录 2.2.1建立目录之前： 2.2.2建立目录之后：（命令：hdfs dfs -mkdir /tmp/m
Oracle/Hive/Impala SQL比较（3-4）
大米瓶子的博客
05-15 5425
3 DML 3.1 Load Files 操作 Oracle Hive Impala LOAD LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol
impala和mysql对比_Oracle/Hive/ImpalaSQL三者对比讲解
weixin_39950772的博客
02-16 1831
5 Function 指数据库内置的function，不讨论UDF。另外，操作符都不比较了，区别不大。5.1 数学函数功能HiveImpalaABS绝对值，有有有SIN/SINH/ASIN/COS/COSH/ACOS/TAN/TANH/ATAN/ATAN2三角函数其中ATAN2接受两个参数(二维平面中的坐标)没有SINH/COSH/TANH/ATAN2同hiveBITAND按位与，有CEIL天花板...
impala数据库数据导入ssdb
05-05
如果你想将Impala数据库中的数据导入到SSDB中，你需要先将Impala数据库中的数据导出为一种SSDB支持的格式，例如JSON或CSV，然后再使用SSDB提供的数据导入工具将数据导入到SSDB中。 具体步骤如下： 1. 在Impala...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值