spark中变量名重用要小心

在spark程序中，重用变量名要特别小心。比如下面的程序

JavaPairDStream<String, Serializable> result1 = data.mapToPair(...);

result1 = result1.filter(...);

result1 = result1.union(other);

结果极有可能是错的。估计和DAG的构造方法有关，DAG有可能是用变量名来构造计算图的，同样的变量名在不同的地方含义不一样，但是DAG区分不了。当然这只是我猜的，没得到证实。

为了保险，变量名最好别重用。上面的程序最好改为：

JavaPairDStream<String, Serializable> result1 = data.mapToPair(...);

JavaPairDStream<String, Serializable> result2 = result1.filter(...);

JavaPairDStream<String, Serializable> result3 = result2.union(other);