spark2.X
yhblog
虚拟世界里面有很多值得我们学习,深思的东西!
展开
-
ResourceManager HA无法连接Spark TrackUi
在YARN集群上执行Spark application后, 打开Spark Application Tracking UI显示以下错误:HTTP ERROR 500Problem accessing /proxy/application_1405708541410_0001/. Reason: Connection refusedCaused by:java.net.C...原创 2020-04-26 15:49:30 · 553 阅读 · 0 评论 -
RDD的创建
参考:https://blog.csdn.net/weixin_38750084/article/details/82769600转载 2018-12-26 14:56:27 · 307 阅读 · 0 评论 -
Apache Spark 2.0三种API的传说:RDD、DataFrame和Dataset
参考:https://www.cnblogs.com/itboys/p/8135760.html转载 2018-12-25 16:11:21 · 210 阅读 · 0 评论 -
spark2.3版本和flink的性能对比
spark在2.0以后,出于某些原因的考虑,Spark 2.0 引入的 Structured Streaming 将微批次处理从高级 API 中解耦出去。首先,它简化了 API 的使用,API 不再负责进行微批次处理。其次,开发者可以将流看成是一个没有边界的表,并基于这些“表”运行查询。不过,为了给开发者提供更多的流式处理体验,Spark 2.3 引入了毫秒级延迟的持续流式处理模式。从内部来看,...转载 2019-01-08 16:23:25 · 1810 阅读 · 0 评论 -
Spark笔记:RDD基本操作(下)
参考:https://www.cnblogs.com/sharpxiajun/p/5510215.html转载 2019-01-09 16:20:05 · 175 阅读 · 0 评论