![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数仓
文章平均质量分 74
怪咖先生丨
博客纯属作为自己的一份笔记,有原创、也有转载,为的是能帮助到需要的人
展开
-
续kettle项目传产后linux服务器调度问题
续前面开发好的kettle项目上传到了生产环境,如何将job执行起来本文介绍使用shell调用kettle job实现数据调度功能。主要功能:1、使用shell调用kettle job2、通过crontab定时调度shell首先创建一个shell脚本,在存放kettle的data-integration的所在目录下,创建两个文件夹,一个是存放调度的shell脚本kettle_dispatch_shell,一个用来存放日志kettle_dispatch_log接下来就是在kettle原创 2020-12-04 11:03:10 · 276 阅读 · 0 评论 -
kettle项目资源库传测试和生产遇到的问题(二)
故事背景:不再介绍所处环境:linux,jdk1.8,kettle 8.0(不建议使用高版本的kettle,前面的文章有一篇提到了因为kettle版本的原因创建资源库的时候在数据库中会缺失一些创建kettle资源库需要的表),EasyConnect连接内网,Xshell 5访问服务器,Xmanager6做可视化首先查看环境java -version[root@zjxsprd data-integration]# java -versionopenjdk version "1.8.0_262.原创 2020-12-01 16:41:28 · 1662 阅读 · 0 评论 -
kettle项目资源库传测试和生产遇到的问题(一)
org.eclipse.swt.SWTError: No more handles [gtk_init_check() failed]linux启动kettle提示org.eclipse.swt.SWTError: No more handles [gtk_init_check() failed]问题故事背景:一个小菜程序猿临危受命接手一个kettle的项目,初始技能认识kettle会初步使用kettle进行数仓开发。。。。。所处环境:硬件需求都是甲方和公司basis已经事先确定,公司basis原创 2020-11-23 17:58:06 · 2723 阅读 · 0 评论 -
kettle连接oracle资源库提示You don‘t seem to be getting a connection to the server
关于如何创建oracle资源库这里就不多提了,网上一大把,自行百度唯一注意下的是数据库名称,Kettle 使用的数据库名是“SID_NAME” 而不是 PL/SQL 的 “SERVICE_NAME”如何获取这个名称呢有三个地方可以看(不分大小写)上面截图是连服务器上的数据库这个是本地数据库的所以不一致还有一种就是执行语句select INSTANCE_NAME from v$instance进入正题,连接资源库的时候提示以下错误You don't seem to b原创 2020-09-15 15:26:52 · 5990 阅读 · 1 评论 -
kettle REST clien用法,获取token,回调接口
今天接到一个需求,kettle调用接口取数,因为才接触kettle不久,很多主键还不了解,可能有更快捷的方式。一开始只说明是从接口获取数据,然后本人就百度了一下kettle如何调用接口取数,具体步骤如下:通过HTTP client接口地址:http://api.map.baidu.com/place/v2/suggestion?query=%E6%98%A5%E7%86%99%E8%B7%AF®ion=%E6%88%90%E9%83%BD%E5%B8%82&outpu原创 2020-09-10 13:39:13 · 7297 阅读 · 3 评论 -
元数据的作用
什么是源数据?元数据是用来描述数据的数据(Data that describes other data)。单单这样说,不太好理解,我来举个例子。下面是契诃夫的小说《套中人》中的一段,描写一个叫做瓦莲卡的女子:(她)年纪已经不轻,三十岁上下,个子高挑,身材匀称,黑黑的眉毛,红红的脸蛋--一句话,不是姑娘,而是果冻,她那样活跃,吵吵嚷嚷,不停地哼着小俄罗斯的抒情歌曲,高声大笑,动不动就发出一连串响亮的笑声:哈,哈,哈!这段话里提供了这样几个信息:年龄(三十岁上下)、身高(个子高挑)、相貌(身原创 2020-06-28 11:01:55 · 4081 阅读 · 0 评论 -
Kettle小细节(输出数据分发和复制)
笔者在学习过程中遇到这样一个问题: 例子:生成 100 个随机数,随机数取值于[0,100)之间, 计算小于等于 50 的随机数个数和 大于50 的随机数个 数。 并把这两个统计数字放在数据库表的一行的两列中, 即输出的结果有一行,一行包括两列,每列是一个统 计值 出现的问题:程序运行到计算器组件还有100条数据记录,但是在过滤记录2和excle输出的时候数据进行了分发,各50条...原创 2020-04-10 11:15:43 · 6666 阅读 · 0 评论 -
数据仓库到底需不需要主键?
本人也是刚开始从事数仓工作不到半年,在做数仓的时候发现一个问题,就是从来没有人和我添加主键,即使数据量庞大,也没有人说添加主键、索引等。这也引发了我的思考,因为在编写SQL的时候我们习惯就是在查询时间过长的时候给SQL添加主键索引,缩短查询时间,那数仓为什么不需要呢? 数据仓库的主键问题,经过查找资料与业内同事讨论,结果发现这份资料比较正确,这里整理出来给大家分...原创 2019-09-25 16:25:48 · 3144 阅读 · 0 评论