![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工作
文章平均质量分 56
佛系小樂
那些星星点点的微茫,终会成为燃烧生命的熊熊之光。
展开
-
大数据学习---利用kettle进行列转行和过滤操作
列转行操作1、若输入的表有两个主键的时候,在表输入的sql语句中需要将主键的数据惊醒ASC排序2、将主键作为分组字段写入列转行流程中原创 2021-09-01 17:47:59 · 1553 阅读 · 0 评论 -
大数据学习---接口接收HTML格式的文件数据(正则表达式)
用接口获取HTML格式的文件数据一、了解正则表达式元字符描述\将下一个字符标记符、或一个向后引用、或一个八进制转义符。例如,“\n”匹配\n。“\n”匹配换行符。序列“\”匹配“\”而“(”则匹配“(”。即相当于多种编程语言中都有的“转义字符”的概念。^匹配输入字行首。如果设置了RegExp对象的Multiline属性,^也匹配“\n”或“\r”之后的位置。$匹配输入行尾。如果设置了RegExp对象的Multiline属性,$也匹配“\n”或“\r”之前的位置。原创 2021-08-12 15:27:05 · 322 阅读 · 0 评论 -
大数据---数据同步调度管理
原创 2021-08-03 13:50:41 · 283 阅读 · 0 评论 -
大数据学习---利用kettle进行表与表之间的数据同步
利用kettle中的转换和作业将两个不同数据库中的不同数据表之间的数据进行同步一、建立新的时间戳在管理时间戳的数据库中的数据表中新加一条最新记录的时间戳日期,该时间戳日期应为最新插入新数据表的时间,(下图为数据库中的数据被更改【插入或更新】时数据库自动获取最新的系统时间)二、建立转换1、表输入将新建立的时间戳的时间获取,先进行数据库的连接(一般找_metadata的数据库,然后选中timestamp的时间戳字段)SELECT DATE_FORMAT(timestamp, '%Y-%m-%d %原创 2021-08-03 11:58:43 · 1353 阅读 · 0 评论 -
大数据学习----接口获取数据
用kettle的转换和作业实现一、首先写转换1、表输入在这里面写入时间戳的时间,先进行数据库的连接(一般找_metadata的数据库,然后选中timestamp的时间戳字段)SELECT timestampFROM a_TIMESTAMPWHERE id=' '运用好这段sql语句从而获取时间戳的日期时间。2、JavaScript代码一定要去postman上解析接口看他的headers是不是为contentype=“application/json”,还有在他的body中的Token和d原创 2021-08-03 10:22:41 · 1298 阅读 · 0 评论