- 博客(16)
- 收藏
- 关注
RSS订阅原创 数据仓库：如何解决ODS数据零点漂移问题
数据零点漂移指的是数据同步过程中，ODS表按时间字段分区时，同一个业务日期(分区)包含前一天的数据或丢失了当天的数据、或者包含后一天凌晨附近的数据。由于ODS需要承接面向历史的细节数据查询需求，这就需要物理落地到数据仓库的ODS表按时间段来切分进行分区存储，通常的做法是按某些时间戳字段来切分，而实际上往往由于时间戳字段的准确性问题导致发生数据漂移。1）这里讲的漂移是指ODS表按照某个字段分区会存在数据漂移现象，如果是全量抽取数据数据会存在该问题吗？全量抽取是否是延迟零点过几分去执行抽取？
2023-04-28 15:55:33
2375
1
原创 如何启动本地模式和集群模式的spark-shell
1、本地模式启动spark-shell备注：本地模式没有链接到集群，是在本地执行spark任务到如下路径，一般spark都装在如下位置cd /usr/local/spark启动spark-shell./bin/spark-shell 启动时打印的日志Spark context available as 'sc' (master = local[*], app id = local-1606618642639).2、集群模式启动spark-shell到如下路径，一般spark都
2020-11-29 15:53:35
2656
原创 启动/关闭kafka集群
1、启动kafka集群在所有节点执行脚本./bin/kafka-server-start.sh -daemon ../config/server.properties查看启动是否成功jps2、关闭kafka集群用命令停止，会将数据先刷写到磁盘上，在停止集群。如果直接kill，数据不会从内存刷写到磁盘上。所有节点执行关闭kafka脚本kafka-server-stop.sh...
2020-11-08 23:10:00
3217
原创 Flume1.7.0下载及安装部署
1、下载地址http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz2、上传解压tar -xzf apache-flume-1.7.0-bin.tar.gz //解压mv apache-flume-1.7.0-bin flume //重命名3、修改flume-env.sh.template文件先进入/flume/conf路径下mv flume-env.sh.template flum
2020-10-28 23:54:24
1310
原创 MYSQL时间字符串格式转换，练习题25道（工作经验总结）
建表语句在文末如果你想查看MYSQL时间函数，可以看本篇文章—mysql时间与字符串之间相互转换。在学习SQL语言时，我们一般都是从MYSQL开始学习，并且对查询语言掌握得很好，但很多人遇见时间格式转换时却无从下手，有时半天都不能解决一个问题。如果你刚学习SQL把本篇文章一定要好好练习；如果你已进入行业一定要掌握文章内容，最好自己总结一下。目录一、Mysql中经常用来存储日期的数据类型二、工作中常见的时间存储格式三、30道时间练习题四、建表语句及数据插入一、Mysql中常用来存储日期的
2020-08-16 22:38:13
539
1
原创 ORACLE报错 ORA-28001: the password has expired 解决方法
前不久连Oracle数据库时报错了，报错如下：ORA-28001: the password has expired百度后才知道：原来密码过期了，Oracle11G在创建用户时密码过期限制是180天（即6个月），如果超过180天用户密码未做修改则该用户无法登录。这个问题网上看着回答挺头痛的，因为写的不是很规范。于是把网上文章总结了下，总共为6步第一步：打开cmd窗口第二步：输入：sqlplus /nolog第三步：输入：Conn /as sysdba;第四步:输入：SE
2020-08-07 22:59:50
4753
1
原创 Sqlserver 行转列pivot+列转行unpivot （附案例数据）
练习数据在文末，使用时需要修改表名，和建表语句记得之前自己在网上找sqlserver行转列和列转行的文章时，找了很多都不能看懂，比如很多文章都没用心写，没有执行结果、没案例，然后我开始自己写文章。希望大家都能掌握sqlserver列转行、行转列知识点。目录1、列转行unpivot2、行转列PIVOT3、案例数据我们看下这张表,总共是26列，1547行数据select * from water_quality1、列转行unpivotUNPIVOT函数的格式如下：UNPIVOT(
2020-07-26 22:38:27
2960
原创 DB2 行转列 + 列转行（附案例数据）
练习数据在文末，使用时需要修改表名，和建表语句记得之前自己在网上找DB2行专列和列转行的文章时，找了很多都不能看懂，不是文章没案例，就是文章没有执行结果文章。希望大家都能掌握DB2列转行、行转列。目录：1、DB2列转行2、DB2行转列3、案例数据1、DB2列转行先看下源表select * from TJSXM.water_quality_temp函数格式：DB2列转行不能使用函数unpivot，也没找到相应的函数格式，带大家从案例里面体会问题1：把PJJG后的字段转换为行se
2020-07-26 22:27:43
6810
1
原创 congons字段中零值，显示为“-” / 或者用其他符号代替
网上关于congons的资料真的很少很少，决定把我在报表开发过程中遇见的问题整理下来，希望可以帮助到需要的人。Congons 字段中零值用其他符号代替， 具体操作方法入下图：1、打开数据格式设置，在数据格式中，设置零值的替代符号即可。最后设置数据格式如下...
2020-07-26 22:15:52
563
原创 Congons如何添加行号（序号）
网上关于congons的资料真的很少很少，决定把我在报表开发过程中遇见的问题整理下来，希望可以帮助到需要的人。Congons 如何添加行号（序号)， 具体操作方法入下图：1、先把行号控件拖拽到到报表中2、添加好行号后，可以设置按某个字段排序（此步骤可操作、也可以不操作。第一步拖拽控件后，即可生成行号）另外：汇总了22个congons常见问题，需要的可以查看本篇文章congons报表开发中的22个问题...
2020-07-25 22:59:13
273
原创 congons交叉表如何添加行号(序号）
目录第一步：添加交叉表控件第二步：设置文本源格式第三步：设置报表表达式前言：congons接触了10多天，整理了20多个问题，网上关于congons的资料真的很少、特别少，贡献一份小力量啦。今天文章内容交叉表如何添加行号，后续会持续更新，一起加油呀。交叉表中的行号,不能通过行号控件生成,需要先添加交叉表控件,然后用函数RowNumber函数第一步：添加交叉表控件第二步：设置文本源格式第三步：设置报表表达式编写表达式RowNumber()congons报表开发中目前更新了2.
2020-07-22 23:38:22
537
原创 kettle数据抽取：ORA-04100:无法将NULL插入（***表.**字段）
今天解决这个bug用了30分钟，人都崩溃了。01其实出现这个问题我们第一个反应是把表删了，重新建表修改字段为NULL类型。我第一反应也是这样。但是我把表重建之后，在KETTLE抽取的时候还是报错：不能插入NULL值。为什么会出现这种问题勒？这时候可以看下是不是把该字段设置为主键或者设置为“联合主键”。02解决方法：可以把原表删除——新建表新建表的时候该字段设为可为NULL新建...
2019-07-17 23:28:05
2057
2
原创 ORACLE、SQLSERVER判断字段是否是数字类型
1、Oracle判断是否是数字类型regexp_replace（）regexp_replace函数是replace函数的扩展函数，用于通过正则表达式来进行匹配替换。如果想排除字段中包含特殊字符的数据可以用下面的sql语句。（PS：很多时候我们不知道字段中包含哪些字符、用下面这个语句就不用自己一个一个的去找啦） regexp_replace(字段名,'^[-\+]?\d+(\.\d+)?$',...
2019-07-17 23:11:46
3882
原创 总结||如何通过cmd将数据导入到Oracle数据库
**摘要：**周一在使用oracle新建数据库、导数据时用了四五个小时，各种bug，都有放弃自己的想法，然后看见旁边带我的小姐姐就心惊胆战……当然罗并没有放弃自己、也不敢放弃自己，而是加班到九点半才回家，还好有地铁突然感觉自己好厉害，并不是能力强，而是加班长，跟公司做开发的小哥哥一样从没六点准时下班哈哈，上面是我工作中一个小小的总结。下面是文章的主要内容罗，大家可以选择查看自己需要的内容：...
2019-07-14 21:55:56
922
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人