前言
和Talend这款软件打交道有一段时间了,主要用它来做一些ETL相关的作业开发,以下总结了一些自己配置与开发过程中的最佳实践。
最佳实践
- 可以通过修改Talend Studio 的 .ini 配置文件来给其分配更多的内存,例如,以下是我在64位8GB内存的电脑配置的参数
-vmargs -Xms2014m -Xmx4096m -XX:MaxPermSize=512m -Dfile.encoding=UTF-8 |
- 在开发过程中一定要注意对Null值得处理
- 可以创建Repository Metadata用于数据库连接
- 可以使用 t<DB> 的数据连接组件定义数据库连接,并重复使用。
- 记得使用 t<DB> 组件来关闭数据库连接
- 避免在Talend的组件中在使用硬编码值(hard coding),使用Talend context 变量代替
- 尽可能使用变量代替硬编码
- 对于频繁的变换,可以通过创建routines或者functio