Kettle将XML文件中数据入库【已解决】

1. 概述与操作

    最近因为业务的需要，要把一些xml文件中的数据入库，这个时候就要用到ETL工具来操作，我使用的工具就是kettle，下面是大致步骤：

1. 确认xml文件数据结构(方便构思解析步骤,以及创建表)

2. 使用kettle进行ETL(共四步)

                         

•     读取文件

           

•     过滤记录(成功，则next)

              选取xml_data_type_description的字段

           

 

•     列转行

          

 

•     插入表

3. 验证数据准确性

    对比一下文件中的内容和 表中的内容是否有偏差，验证一下。

--------------------------------------------------------------------------------

温馨提示：之前是用Get data from XML 这个控件，一直不成功，因为这个XML文件很大，很吃内存，这个控件承受不住。后来改用XML inout stream控件，将200W+行的数据很轻松的入库了。所以，解析文件较大的，建议使用XML inout stream控件。