本文探讨了将rxJava用于ETL（Extract, Transform, Load）处理的可能性，并通过实验发现rxJava更适合处理事件流而非ETL任务。文章还列举了几种更适配ETL操作的技术方案。
突发奇想，能不能把异步响应式编程的rxJava（主要用于Android开发）应用于ETL，想法源于rxJava中提供了一系列operators如distinct、concatWith、count、filter、groupBy、limit、toSortedList、isEmpty等，感觉有点像SQL。
实际试验后，原来rxJava还是比较适合于处理事件流而不是ETL，原因是rxJava缺乏dataframe这种对象，不能直接操控指定字段！so...总结一下，比较适合处理ETL的方式有：
1、图形工具如datastage、kettle等
2、SQL
3、SAS 或 R 或 COBOL
4、pandas + Python
5、Spark + sparkSql (+ Scala/Java/Python)
6、Kettle jar 包 + Java (实现起来还是有点麻烦的~)
写了个rxJava实现，想看的朋友可以参考《 rxJava例子》
实际试验后，原来rxJava还是比较适合于处理事件流而不是ETL，原因是rxJava缺乏dataframe这种对象，不能直接操控指定字段！so...总结一下，比较适合处理ETL的方式有：
1、图形工具如datastage、kettle等
2、SQL
3、SAS 或 R 或 COBOL
4、pandas + Python
5、Spark + sparkSql (+ Scala/Java/Python)
6、Kettle jar 包 + Java (实现起来还是有点麻烦的~)
写了个rxJava实现，想看的朋友可以参考《 rxJava例子》
扫一扫
1713
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
