数仓
数仓
爱分享的驰哥
威信:chige202103,可私信
展开
-
windows定时任务实现kettle任务
windows定时任务实现kettle任务原创 2022-06-28 10:37:30 · 1349 阅读 · 0 评论 -
实现oracle数据批量同步到mysql(一)
整体项目为数据统计类系统,源数据库为oracle,考虑到法律风险和成本控制,需要落库为mysql,并实现定时更新功能。多的不说,具体看操作过程。这个过程中,找了很多种实现方式和工具,目前能基本实现项目的需求,不过便利程度上还是需要斟酌。1)navicat15(这个版本能控制单次执行插入语句的数量,分批执行)2)kettle(开源的etl工具)3)结合些部分自己处理的工具和代码首先用navicat的数据传输功能进行异构数据库的传输1、先配置oracle和mysql数据库的连接mysql比较简单,or原创 2022-06-02 14:15:14 · 1892 阅读 · 0 评论 -
PowerDesigner导出表到Excel,包含字段, 行冗余表名
PowerDesigner导出表到Excel,包含字段, 行冗余表名 使用方式: 打开需要导出的pdm,然后按快捷键:ctrl + shift +x 拷贝以下代码,点击Run(F5), 开始递归目录,稍等片刻就生成Excel 导出的excel样式: TableCode...原创 2022-05-09 09:29:10 · 679 阅读 · 0 评论 -
数仓_增量初始化脚本(从s到s_n)
增量初始化脚本(从s到s_n)s层中s为未进行转码前脚本,s_n为转码后脚本参考如下格式即可,内容有删减(主要字段比较多,就只留两个)sql内容如下:drop table if exists tmp.tmp_s_crm_ztgcjtsal0341_cache_d_ncode_maping_21211210;create table if not exists tmp.tmp_s_crm_ztgcjtsal0341_cache_d_ncode_maping_21211210 stored as pa原创 2021-12-29 13:56:09 · 238 阅读 · 0 评论 -
数仓_给标准b层加分区
数仓分层b-o-s-i-ab层为源数据层调度平台shell脚本里面配置场景:老表分区数据需要保留,但是需要把分区数据添加到另外一张新表的新分区里面#给标准B层表增加分区:sh /home/zoomspace/udp_collect/add_partition.sh bdl.b_ccm_v_rm_inspection_issue $partitionDate #bdl.b_ccm_v_rm_inspection_issue为新加的表if [ $? -ne 0 ] ;thenexit -1原创 2021-12-29 13:46:25 · 862 阅读 · 0 评论 -
数仓_增量数据初始化s_n
C6_impala生产上操作,测试类似1、13分区s层 location /aalter table sdl.s_mbp_mgd_t_prototype_deliver_subitem_n partition(dt=20211213) set location‘hdfs://nameservice1/user/hive/warehouse/sdl.db/s_mbp_mgd_t_prototype_deliver_subitem_n/dt=20211213abc’;2、跑14分区全量b-o-s调度3原创 2021-12-29 13:40:54 · 1111 阅读 · 0 评论