1.分页抽取的实现挺麻烦的,究竟有没有必要?为神马网上没有通用的可复用方案或者参考方案?有人告诉我说kettle底层使用了了jdbc的setFetchSize等机制,再加上转换的杂项设置中“记录集合里的记录数”,已经实现了分页的机制。但是这个“记录集合里的记录数”是否在任何条件下都生效呢?
我需要明确的分页限制,即每页不超过n条记录。因为真正的生产环境中会有很多个表在同时抽取,每个表必须占有限的资源,如果不加限制,什么好硬件都会有不够用的可能。
1.分页抽取的实现挺麻烦的,究竟有没有必要?为神马网上没有通用的可复用方案或者参考方案?有人告诉我说kettle底层使用了了jdbc的setFetchSize等机制,再加上转换的杂项设置中“记录集合里的记录数”,已经实现了分页的机制。但是这个“记录集合里的记录数”是否在任何条件下都生效呢?
我需要明确的分页限制,即每页不超过n条记录。因为真正的生产环境中会有很多个表在同时抽取,每个表必须占有限的资源,如果不加限制,什么好硬件都会有不够用的可能。