ETL技术
文章平均质量分 60
星月情缘02
宝剑锋从磨砺出,梅花香自苦寒来
展开
-
kettle 异常关闭后重新打开导致不能创建和打开转换与作业的解决办法
经常使用kettle的人都熟悉kettle工具的常用操作,但是,对于它出现过的很多问题却不一定都见过,自己就是遇到过几次,上午找答案也是乱七八糟的回答,在这里给做一个总结的回复。希望帮助大家。 常见的卡死的原因是因为点击某个组件后,长时间无响应只能强制关闭,再次打开后出现错误提示,比如无法找到指定的源步骤,2. 不能创建作业和转换文件,3.不能打开已有的转换作业文件,4. K...原创 2018-08-27 14:14:57 · 4003 阅读 · 2 评论 -
crontab定时任务自动不能执行,手动可以执行的解决办法-亲测解决
最近在做ETL任务调度时,使用系统自带的任务调度crontab 发现手动运行脚本可以执行完成,但是自动定时就不能实现,检查shell脚本也没有错误。奇怪哪里导致的问题呢? 后来在网上查询和不断测试,得知和系统的环境变量有关系的。发现脚本中需要添加必要的环境变量才可以使脚本自动执行。 这种情况一般是由于在crontab文件中没有配置环境变量引起的。cro...原创 2018-10-11 15:03:06 · 42377 阅读 · 3 评论 -
kettle输出数据到hadoop 的hdfs 系统,错误总结
最近自己在练习使用kettle时,想把MySQL中的数据同步到Hadoop中,就测试了一下,到最后发现怎么也连接不上hadoop集群,好不容易连接上了,结果文件又无法写入到指定的目录中,一直提示权限不够,很郁闷啊。最后终于解决了,分享一下心得。 1. kettle 安装在此不讲述,本文是以kettle 和Hadoop环境都已经部署好了,可以正常使用的环境。 ...原创 2018-10-16 17:19:48 · 6439 阅读 · 12 评论 -
Hadoop错误: put: Lease mismatch on ... by DFSClient_NONMAPREDUCE_-499992815_1.... 学习总结
错误总结分享: 使用了hadoop挺长时间了,多数人应该很熟悉它的特点了吧,但是今天突然遇到个错误,从来没见过,一时自己也想不到是什么原因,就在网上查了一些资料,得到了解决的办法,再次分享一下。 过程: 使用kettle 数据清洗工具在进行同步任务的过程中,最后数据是被加载到hdfs的,这里用shell脚本实现,hdfs dfs -put...原创 2018-10-29 18:05:57 · 3283 阅读 · 0 评论 -
ParseException line 20:7 Failed to recognize predicate 'timestamp'. Failed rule: 'identifier' in tab
今天在执行 hive ql 时,突然出现了这个错误,之前没遇到过。就自己在网上找原因,看了几篇回复都是不搭边的,都不想继续了,不过也给自己了个思路,有一篇英文贴是有效的。 就尝试了修改操作,SET hive.support.sql11.reserved.keywords=false; 这个设置就是表明: 建表的字段名,最好不要使用保留字。如果已经使用了...原创 2018-11-20 14:55:22 · 4567 阅读 · 0 评论 -
kettle使用中遇到的一些常见问题总结
大数据在ETL处理过程中,使用的工具有kettle, dataStage,infomatica等等。kettle是属于开源免费的etl 工具。基于java开发,内置了很多强大的工具,在数据清洗加工处理方面,有优越的性能和处理效率。当然如果内置的组件不能满足要求,还支持二次开发插件来解决问题,实现功能。下面简单对日常中使用kettle中出现的问题做一个总结,方便自己也方便大...原创 2019-01-16 16:27:56 · 10083 阅读 · 0 评论 -
kettle常用的数据库连接示例
kettle是一款强大的数据抽取转换工具,在数据仓库,ETL任务处理中使用的非常频繁的开源工具。它也支持众多的数据库连接类型。下面是支持的数据库连接对比图。请参考学习。 就介绍这么多。...原创 2019-04-10 10:12:37 · 1724 阅读 · 0 评论