Talend Open Studio 8
为了忘却的纪念。 打算放弃talend了,虽然是最好的ETL工具,但是在国内环境应用的还是太少了。 整理分享一些有用或者又无用实践经验,小技巧。用于留念。
BigSharkTech 必杀技
可提供Talend 开源版商业版等专业实施服务。 提供大数据hive平台,以及AWS 、Azure、阿里云等云上数据仓库实施服务。
如有需要,请私信联系。
展开
-
talend 读取FTP 文件
5. 一般是zip文件,使用 组件解压 ,或者 用tSystem组件调用命令行。7. 把文件移动到ftp 备份的文件夹(put上去), 再删掉原来的位置的文件。8. 最后遍历结束后,close掉ftp服务器的链接。几年前还有需要从ftp服务器读取文件来进行写入数据库。进来云的应用越来越多,很少碰到需要使用FTP服务器的。4. 从ftp 中下载到本地, ftp get。6. 然后 基本文件的 ETL。2. 读取FTP 文件夹的文件列表。3. 遍历文件夹中的文件。FTP 的基本思路是。原创 2023-10-19 18:20:36 · 187 阅读 · 0 评论 -
talend 之 tSystem组件
有时候有些需求是在运行talend 作业的机器上运行一下命令行。这个时候可以考虑使用tSystem命令。例如,有时候Hive脚本已经存放在本地某个文件夹下。可以使用这个组件来调用脚本。一般是尽量简化talend调用的命令,把复制的命令都合并为一个脚本,只是调用一下这个脚本就行。原创 2023-10-18 16:12:15 · 116 阅读 · 0 评论 -
Talend 快捷操作 作业复制粘贴(duplicate)
例如 对作业复制粘贴,在调试一些作业的报错,或者从模板里面生成新的作业的时候,比较常用。Talend中有些小技巧,比如一些常用的快捷操作,可以节省不少时间。根据需要修改名称,例如更改为临时调试的 debug_需要重命名,默认是copy of ....其实在英文里面叫做deplicate。最后,在作业中看到已经生成新的作业。原创 2023-10-17 08:18:18 · 116 阅读 · 0 评论 -
talend 运行之调试运行
某时候,遇到一些非常神奇的bug。碰到非常神奇的数据,不知道为啥ETL程序就突然中断了。2 在组件中,会一条一条的显示每个组件中当前情况下,schema的数值。不过运行速度非常慢, 一定要限制数据的数量。3. 可以通过设置跟踪了,只选择你关心的字段。可以尝试使用一下 运作中的调试运行。1. 运行 -- 调试运行, 调试运行。原创 2023-09-28 10:45:38 · 116 阅读 · 0 评论 -
talend 生成随机测试数据
生成随机测试数据原创 2023-09-27 10:28:35 · 90 阅读 · 0 评论 -
Talend 作业 打开其他版本
talend 版本控制原创 2023-09-22 15:18:21 · 53 阅读 · 0 评论 -
Talend 字符编码
Talend 字符编码原创 2023-09-12 11:54:28 · 73 阅读 · 0 评论 -
Talend 创建第一个作业Demo
使用talend创建第一个作业, Hello World!原创 2023-03-27 10:24:20 · 109 阅读 · 0 评论 -
Talend Job 回滚0.2 ->0.1
talend 版本 回滚原创 2023-03-24 13:39:10 · 80 阅读 · 0 评论 -
talend 等待组件
talend tSleep原创 2023-09-21 15:57:20 · 57 阅读 · 0 评论 -
Talend 8 开源 连接 Hive
Talend Hive Connection原创 2023-09-20 13:29:11 · 151 阅读 · 0 评论 -
Talend 隐藏的组件
Talend 隐藏 组件原创 2023-09-19 13:38:35 · 80 阅读 · 0 评论 -
Talend 的全局变量
talend 全局 变量原创 2023-09-05 11:02:52 · 134 阅读 · 0 评论 -
Talend 运行内存调大
talend 内存调整原创 2023-07-24 15:34:32 · 101 阅读 · 0 评论 -
talend 组件的框的高度异常
talend 组件 高度原创 2023-07-20 11:23:38 · 80 阅读 · 0 评论 -
Talend查看context 中的密码
context的密码的默认是加密的,不能直接看到密码的。这里有个小技巧。原创 2023-04-14 12:14:03 · 141 阅读 · 0 评论 -
Talend Context 上下文
2. 用来设置一些运行参数,例如批量的ETL,跑 多少天(n) 的数据。1. 一般对应不同的环境来设置变量。比如 开发,测试,正式环境。3. 用来主作业和子作业之间传递参数。例如一些迭代的变量等。Talend Context 上下文,相当于环境参数。创建DEV, UAT, PRD 环境。在作业中,选择配置好的上下文。在组件中使用 上下文。运行作业的时候选择上下文。原创 2023-03-31 17:04:50 · 191 阅读 · 0 评论 -
Talend 更改界面语言
更改Talend 的界面语言。原创 2023-03-30 12:22:20 · 301 阅读 · 0 评论 -
Talend Job的默认值
Talend Job 的三个默认值原创 2023-03-29 13:03:49 · 66 阅读 · 0 评论 -
Talend tJava组件
tJava组件原创 2023-03-28 13:26:45 · 189 阅读 · 0 评论 -
talend open studio 8 下载
talend 下载原创 2023-03-23 14:29:19 · 1288 阅读 · 0 评论