使用星环科技transwarp根据日期增量迁移数据

最新推荐文章于 2023-09-05 10:05:42 发布
最新推荐文章于 2023-09-05 10:05:42 发布
阅读量1k 收藏 4
点赞数
分类专栏： 数据库 大数据 文章标签： ETL 数据迁移
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wj1298250240/article/details/102520364
版权

使用transwarp根据日期增量迁移数据

关键点;设置日期自增
过滤当前时间前100到前1天
r_date > date_sub(to_date(sysdate),100)
r_date < date_sub(to_date(sysdate),1)

1、登录TDT

在这里插入图片描述

2、点击数据流，进入设计数据流界面

在这里插入图片描述

3、点击右上角新建数据流，填写名称及描述，新建数据流

在这里插入图片描述
示例：选择对应的数据源，这里选择使用inceptor,从一个库过滤数据到另一个库中
说明：过滤当前时间前100到前1天的数据从一个库抽到另一个库中
r_date > date_sub(to_date(sysdate),100)
r_date < date_sub(to_date(sysdate),1)
在这里插入图片描述<

最低0.47元/天 解锁文章
炼丹师666
关注
专栏目录
CDH/HDP迁移星环大数据产品TDH
.
06-02 1424
通过8种独立的存储引擎，支持业界主流的10种存储模型：关系型数据存储、宽表存储、搜索引擎、地理空间 存储、图存储、键值存储、事件存储、时序存储、文本存储、对象存储。星环科技TDH已完成与主流信创生态厂商的适配互认工作，适配长城飞腾、华为泰山、浪潮等服务器，鲲鹏、飞腾CPU，麒麟、统信等OS，并有官方认证，支持基于ARM与X86服务器服务器混合部署并有落地案例，满足信创验收要求。TDH的多模架构，支持关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型；整个易用性、开发效率和运行效率都提高很多。
星环-transwarp-inceptor使用手册
06-14
Inceptor是一款用于批量处理及分析的数据库。它支持SQL 2003标准、Oracle PL/SQL以及DB2 SQL PL，对Oracle、DB2以及Teradata 都有很好的方言支持，是Hadoop领域对SQL标准支持最完善的产品。Inceptor的另一大优势是对ACID的支持，从而可以满足用户对数据处理中一致性和可靠性保障的需求。此外，Inceptor拥有极为优异的大数据分析性能，比Apache Hadoop处理速度快10倍以上，比 MPP处理速度快5倍以上，在TPC-DS和TPC-H基准测试中也胜于其他Hadoop和MPP产品。目前，Inceptor被广泛地应用于数据仓库和数据集市的构建，在中国，已经有超过500家客户在Inceptor上创建了他们自己的商业应用。
星环Transwarp Data Hub大数据安装学习
Auspicious航的博客
05-12 4229
目录1. 简介1.1. Transwarp Data Hub介绍1.2. 集群结构2. 安装准备2.1. 硬件环境要求2.2. 操作系统要求2.3. Java环境要求2.4. 支持的浏览器3. 安装前的检查3.1. 系统磁盘分区要求3.1.1 磁盘资源的规划 3.2. 内存容量要求3.3. 网络设置3.4. 集群和网络拓扑要求3.5. NTP服务设置3.6. 安全设置3.7. 系统的推荐设置4. 安装配置4.1. 修改主机名4.2. 创建目录4.3. 配置磁盘分区 5. Transwarp Manager的
星环Transwarp Data Hub大数据介绍
最新发布
Auspicious航的博客
09-05 750
它具有数据集成和管理、数据存储和处理、数据分析和挖掘、数据安全和隐私、管理和监控等功能。管理和监控：Transwarp Data Hub提供了一套完整的管理和监控工具，可以帮助管理员和运维人员管理和监控大数据平台的运行状态和性能。数据存储和处理：Transwarp Data Hub提供了可扩展的数据存储和处理能力，可以支持PB级的数据存储和处理。数据巡检：检查存储在Transwarp Data Hub中的数据的完整性和可用性，包括检查数据备份和恢复过程是否正常运行，以及检查数据存储是否达到预期的性能要求。
数据库函数之日期函数
python_web全栈
09-20 2859
这个函数接受日期时间字段名称，和查询的年、月、日、时、分、秒等作为参数，提取出相应的值以整数类型返回日期类型字段包括：DateTimeField，DateField，TimeField提取的类型列举如下：year——年份quarter——季度month——月份day——某日week——周数，一年的第几周weekday——周几，周日的值是1，周一是2，一直到周六是7hour——小时minute——分钟second——秒数。
各类数据库的日期函数
liukaidi的专栏
09-05 588
做报表经常要写日期函数，按截止昨天的情况来写 Mysql： 今天：curdate() 本月1日：date_sub(date_sub(curdate(),interval 1 day),interval day(date_sub(curdate(),interval 1 day))-1 day) 昨天：select date_sub(curdate(),interval 1 day) 上周的周一：select date_sub(date_sub(curdate(),interval 1 day),i
数据中台建设方案-基于大数据平台
2301_76549664的博客
03-14 4455
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
mysql到hive调度工具_调度工具（ETL+任务流）
weixin_39689687的博客
12-22 1171
1.区别ETL作业调度工具和任务流调度工具kettle是一个ETL工具，ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)。kettle中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。所以他的重心是用于数据oozie是一个工作流，Oozie工作流是放置在控制依赖DAG(有向无环图 Direct Acyclic ...
数据库高级——日期运算函数
跌跌撞撞的小白
08-25 469
关于在MySQL中使用日期运算函数 now() ：获得当前系统时间 year(日期值)：获得日期值中的年份 month（日期值）：获得日期值中的月份 day（日期值）：获得日期值中的天数 date_add（日期，interval 计算值 计算的字段） 注：计算值大于0表示往后推日期，小于0表示往前推日期 示例： 现在有一张date表: mysql> select * from date1; +----+------------+ | id | date | +----+--------
Transwarp Data Hub v4.2 Inceptor使用手册
06-22
星环大数据平台，Transwarp Data Hub v4.2Inceptor使用手册。
max日期最大值为0_MySQL的相关函数的使用SQL实践操作详情，如日期函数
weixin_39940755的博客
10-26 411
MySQL第一.SQL函数SQL数据库有两种函数,总数函数和数量函数1,总数函数: 计算从列中取得的值，返回一个单一的值。如下:AVG() : 返回平均值MAX() :返回最大值MIN() : 返回最小值FIRST() : 返回第一个记录的值LAST() : 返回最后一个记录的值SUM() : 返回总和COUNT() : 返回行数2.数量函数基于输入值，返回一个单一的值。如下:ROUND() : ...
SQL使用技巧(4.1)Hive日期时间函数
LMTX069的博客
04-01 2725
日期时间函数的使用，主要是Hive和greenplum大数据中的日期时间函数
教你三步实现CDH到星环TDH的平滑迁移
Transwarp
03-15 4888
Transwarp Data Hub（TDH） 是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层。8种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型。存算解耦特性支持弹性扩展，让资源配置更灵活。 星环一站式多模型大数据基础平台TDH架构图 TDH能够存储PB 级别的海量数据，同时能够提供高性能的查询搜索、实时分析、统计分析、预测性分
【TDH】常用日期函数
不负青春、不负卿
06-12 3335
v_etldate 为时间参数 –求当前日期昨天的日期 select date_add(system,-1) from system.dual; –求当前日期是当年的第几个月 v_etldate_month select cast(substr(v_etldate,7,1) as int ) from system.dual; –求去年年末 v_etldate_last_year select a...
如何在Inceptor中使用日期函数获取与转换时间
XIAZAIVA的专栏
04-25 1638
Inceptor 可以理解成 Hive，Inceptor 的日期函数基本兼容 Hive。 从哪个 SQL 体系转过来都可以很快适应 Inceptor 语法 获取当前日期和时间 SELECT systimestamp AS 完整时间 --yyyy-MM-dd HH:mm:ss ,sysdate AS 日期 --yyyy-MM-dd ,systime AS 时间 --HH:mm:ss FROM system.dual LIMIT 1; 获...
TDH建表语句汇总
wj1298250240的博客
02-15 1975
TDH建表语句汇总 TEXT表 TEXT表是文本格式的表，是Inceptor默认的表格式。在数据量大的情况下，TEXT表的统计和查询性能 都比较低； TEXT表也不支持事务处理，所以通常用于将文本文件中的原始数据导入Inceptor中； 不建议在任何计算场景中使用TEXT表； CREATE EXTERNAL TABLE test.t1_ext ( id string ,legal...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值