Spark 总结项目一---相同数据源不同计算结果？

Spark 项目总结

项目简介

​ 接手项目是省Scala代码，需要转换成适合集团开发环境的代码，但是执行过程中遇到很多问题，以此记录。

难点和解决方案

一、相同数据源不同计算结果？

其实想都不用想，数据源不是用的同一批，这种事情只有我们小白容易入坑。

难点：

​ 首先拉了2批测试数据，但是在省环境下使用相同代码没有跑出结果，这也是我整个项目中最难受的地方，环境一样，代码一样为什么跑出来的结果不一样呢？也想着很多地方都没辙去解决这个问题。

解决方案：

​ 仔细分析了1天时间，发现是数据源的问题，但是就算和省环境对照相同的数据源但还是有少许数据依旧对不上，后来和省环境开发人员(写这套逻辑代码的开发人员)进行沟通，终于可以在数据上进行正确的输出。

总结：

​ 七哥提醒我：相同的代码和环境结果怎么会不一样呢？那肯定是数据源的问题，或者是程序版本不一样，需要和写程序的人去沟通。

​ 沟通的时候不要先将自己现在的需求说出来，要先肯定自己的成果和努力，然后去和上司/客户去沟通自己现在出现的问题，把你需要的资源去依据你的难点去把那些人引出来，然后再进一步交流。