大数据大数据,这几天一直在研究SQOOP的使用功能,让我感觉到很头疼。下面的内容是我在研究增量更新的时候的一些案例:
一、首先在ORACLE数据库中创建一个一天内,秒级的时间表代码如下:
CREATE TABLE TIME_HIVE AS
SELECT to_date(sysdate, 'yyyy-mm-dd') + rownum / 24 / 60 / 60 as DAY_ID
FROM dual
CONNECT BY rownum <= 24 * 60 * 60 - 1;
2017/2/21 1:24:12
2017/2/21 1:24:13
2017/2/21 1:24:14
。。。。。。。。。
生成的数据就是一天内每一秒的数据
二、在SQOOP中使用lastmodified 增量更新的方法来做
在HIVE数据中创建一个表;
1、指定使用的数据库