自问自答
文章平均质量分 70
xwc35047
时间有限,但做于自己的无限。(公众号:水木之椿)
展开
-
为什么spark 1.6之后使用Netty来替代Akka通信库?
Akka的底层是使用Netty,尽管Akka能简化消息通信的使用,但使用Akka要求message发送端和接收端有相同的版本(例如spark streaming的receiver接收上游消息要求上游的actor有相同的Akka版本)由于spark对Akka的使用主要限于RPC和单线程event loop,所以为了避免Akka造成的版本问题,给用户的应用更大灵活性,决定使用更通用的RPC实现,也就是原创 2017-11-17 11:03:00 · 3639 阅读 · 0 评论 -
Spark ERROR: org.apache.spark.shuffle.FetchFailedException 问题追查
Spark ERROR: org.apache.spark.shuffle.FetchFailedException 问题追查原创 2017-12-11 11:59:48 · 9489 阅读 · 0 评论 -
大数据开发岗位面试经验总结(一线、二线,独角兽,外企,外国企业)
为什么想走?跟很多人也许不同,我不是觉得待遇不好,反而认为陌陌在互联网公司中的待遇算一股清流了:额外家属子女商业保险、总包差不多17薪、每年出国团建、加班少、工作氛围愉快,没有所谓大公司政治斗争,这些对于我毕业第一份工作已经非常满意。可我还是想离开,主要是觉得个人成长已经很缓慢,工作没有太大压力,而内心很想逃出舒适区,于是想离职的想法逐渐萌芽。整个面试差不多持续1个半月,从刚开始懵懵懂懂准...原创 2018-06-11 10:14:43 · 21913 阅读 · 27 评论