1. 概述与操作
最近因为业务的需要,要把一些xml文件中的数据入库,这个时候就要用到ETL工具来操作,我使用的工具就是kettle,下面是大致步骤:
1. 确认xml文件数据结构(方便构思解析步骤,以及创建表)
2. 使用kettle进行ETL(共四步)
- 读取文件
- 过滤记录(成功,则next)
选取xml_data_type_description的字段
- 列转行
- 插入表
3. 验证数据准确性
对比一下文件中的内容和 表中的内容是否有偏差,验证一下。
--------------------------------------------------------------------------------
温馨提示:之前是用Get data from XML 这个控件,一直不成功,因为这个XML文件很大,很吃内存,这个控件承受不住。后来改用XML inout stream控件,将200W+行的数据很轻松的入库了。所以,解析文件较大的,建议使用XML inout stream控件。