第二天入职

2019/8/20 10:11

我收回我昨天说很闲的话，昨天可是把我累死了，今天早上终于搞出来了，使用的是rdd和集合，rdd的每一项并发去匹配,集合中的hash中的集合的每一项

如果存在就将hash中的key给rdd的每一项

之后返回了一个utils我觉得很有趣，现在我想做的就是把目前的utils更新到mysql数据库中。但是我太高兴了，我就找他给 我安排任务，有点后悔，他让我

导入excel的表格里的数据到mysql里（我打算使用kettle,第二次用，很好用），另外，继续做与刚才同样的操作。

所以我给自己上午定了个目标，就是把数据写好，更新到mysql中并且弄张新表出来，新表就是我刚刚映射完成的数据。

最后搞了一下午，搞定了。

有个问题就是,while中，可以用scala的集合添加数据

但是在spark的rdd的foreach里添加的数据都会被无效化。

所以有2种解决方案，1.使用map

　　　　　　　　　　2.使用while

转载于:https://www.cnblogs.com/BigDataBugKing/p/11381391.html