kettle 把MongoDB数据迁移到hbase

1.数据结构：

MongoDB数据结构，需要把mongoDataList里的每一个dataIID转换为列名，列名的名称需要在SQL Server中进行查询。

 2.问题： 因为每个存储内容名称一样，list中默认getfiled取到第一个内容，需要遍历

 3.步骤

• 把list中的列都遍历出来
• 用遍历出来的列id在sqlserver中查询id对应的Name
• 把name赋值为列名，把之前的datavalue赋值为值

• 导入hbase

4.操作：

4.1把list中的列全都遍历出来

 

发现java中的输入的列名还是只有这几个，因为输入是从前边读取的，所以肯定要在mongDB中进行查询，输出各种列的信息了！

但是还是不行，因为无论如何因为重名会导致输出filed都变为一个

最后询问网友发现！！！！！！！！！

 这样就可以了！！！！！要去掉$然后加【*】就可以了，类似于正则表达式！！

出来后的结果如图！取了一个list中有四个变量的表，可以看出有四个变量显示了已经！

4.2导出monogDB中的dataID，然后在SQL中查询获取ID对应的Name.

因为查询出ID重复，用唯一行（哈希值）转化取出不重复的dataIID，然后用字段选择，选出ID列

又因为只要ID所以查询前几十行就可以，这样就避免查询所有出现速度慢，需要设置！！

 最终需要一个ID对应Name的表去改列名，所以需要保存这个结果，动态的话需要每次跟新，所以想法是做一个中间表，每次删除然后更新，之后在表中取数据就ok!

 

 ！！！！重点：不要把删除中间表和更新中间表的写在一起，因为带入参数多个时sql会执行多次，这样的话每次都会删除中间表！！！！

 最后生成的中间Sql表为

 4.3查询MongoDB，然后代替列名！

现在从mongDB中读取到的数据如图

 我想要的效果如图，怎么转换呢！！！

RowKey	MissionID	dataValue
timeStamp	missionID	item_name1	item_name2	item_name3

 

 所以Hbase的输入应该这样格式：要转换行列

所以MongDb 搜出的数据结构应该为

但是每一个手输列名是不现实的，而且主要是列名对应的ID必须要对应，这里看不出列名，所以要对字段进行行列转换

列转行：https://www.jianshu.com/p/be89b6a6404f

输出的txt文件为：

这样才符合habse存储的格式！！！

 

之后把项ID和项Name的表导出到xml,进行查询时先查xml对应的ID,然后再进行列名查询

 

 

5.最终结果