问题1
最近在做一个flink 项目时,测试时,使用mongodb compass把mongo原始库的数据导出到本地,再导入到测试集合,代码敲完以后在源数据库测试,发现直接读取不到数据。
问题解决
1、查看原始数据发现数据格式,和从原始数据导出到测试集合的数据,有点不同,原始数据的对象,变成了集合,导致敲代码的时候全部是按照集合处理的,所以出现了上述问题。
2、如图:
3、修改代码
问题2
1、实际项目使用kafka作为中间件,于是写代码时直接用的kafka 重复消费。
2、在代码完成后想测试总数据,由于测试机存储能力太低,只能跳过kafka,直接从mongo读取数据。
3、这时发现了问题,flink从kafka 读取数据后,需要先get(“value”),而直接从mongo 读取数据,是取不到这个"value"的。因为读取得到的就是这个value。费解…