![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
goldlone
这个作者很懒,什么都没留下…
展开
-
Standalone下Spark配置HA(High Availablity)
Standalone下Spark配置HA(High Availablity)http://spark.apache.org/docs/1.6.3/spark-standalone.html#high-availability在默认情况下,Standalone的集群调度对Worker具有容错性,因为当Worker节点崩溃后可以将Application移动到其他可用节点。但是调度程序依靠Mas...原创 2018-11-01 14:51:35 · 211 阅读 · 0 评论 -
Spark算子总结
Spark 算子RDD支持两种类型的算子, transformation (从现有的数据集创建新的数据集)和 action (从数据集上运行计算后将值返回到驱动程序)transformation算子并不会立即进行计算,只记录依赖于哪个数据集,仅当需要将结果返回驱动程序时才进行计算转换(即遇到action算子)。这种设计使Spark能够更有效地运行 。默认情况下,每次对其执行操作时,都可以重新...原创 2018-11-08 21:32:28 · 1228 阅读 · 1 评论 -
Scala自定义数据库连接池及工具类
DBUtil.scalaimport java.sql.{Connection, DriverManager, PreparedStatement, ResultSet, Statement}import java.util.concurrent.{BlockingQueue, LinkedBlockingQueue}/** * JDBC 工具类 * @author Created...原创 2018-12-06 17:22:22 · 1965 阅读 · 2 评论 -
【转载】DStream 中有几个RDD ?
最原始:https://blog.csdn.net/jiangwlee/article/details/51492507转载:https://blog.csdn.net/WangJinLong_cu/article/details/84145973转载的文章中更明确地说明了结论。转载 2019-02-24 21:49:31 · 828 阅读 · 0 评论