数据分析：关于zeppelin与spark

这两天遇到了一些坑  关于zeppelin的使用

需求代码写好，跑的时候一个需求跑了3h ， 当时就想找原因。后来想了想是不是我的SQL遇到了数据倾斜，果然我看到了我的SQL使用了 distinct count group by 还有字段为空的列 。 然后我进行了优化 ：采取了map join 的方式。不过这map join 逻辑还挺复杂的。贴个例子 ，如果有错误请指正：

  val resersql03 = "select city , count(aa.order_id)   from ( (select  /*+mapjoin(reser_log004)*/*  from reser_log001  )  join (select   /*+mapjoin(reser_log002)*/reser_log002.*  from (select distinct user_id,order_id from reser_log001) reser_log003  join reser_log002 on  reser_log003.user_id=reser_log002.user_id  and reser_log002.city is not null ) reser_log004 on reser_log001.user_id = reser_log004.user_id )  as aa group by aa.city   "

进行优化之后， 再次跑zeppelin ，发现一开始跑的很快。速度蹭蹭的跑到80% ，不过之后就很慢。跑了1h吧好像， 没耐心了

需求等的急，其实很简单的需求，我周末一会就把代码写好了。就等着跑了。结果万万没想到很坑啊 ，所以提醒自己遇到新的需求有时间有做吧 ，我写好代码没想到跑的时候拖了我两天。

这时候想到抛弃zeppelin，使用spark 我的配置 Mac版本idea 。这里不得不说下以前没用过Mac，用的时候还是要摸索。快捷键pages numbers啥啊的 。这里spark又遇到坑了，之前写了一个trait里面是一些spark context 的使用

我之后把zeppelin的代码搬过来，发现复杂化了。其实spark可以很简便。关于SQL语句，关于join，关于group by  count 这些代码慢慢积累，之后代码打成jar包 提交到spark集群。这里也爬了坑，我还把我的代码直接在local本地跑 结果出现报错 ，能想到的我都遇到了。报错信息没记录，下次记录。spark果然跑的很快，边跑边去yarn界面查看进度 ，感觉不到十分钟吧就好了

所以遇到了跑zeppelin几个小时跑不出来，就别等待了。使用spark吧。。。。