spark
文章平均质量分 96
spark
Al leng
这个作者很懒,什么都没留下…
展开
-
Akka模拟Spark Master和Worker通信
Akka模拟Spark Master和Worker通信案例案例意义需求分析Spark Master和Worker通信案例Master代码Worker代码样例类结果学习Saprk的源代码,那么对Akka的通信原理一定要熟悉,我们通过Akka模拟Spark Master和Worker之间的通信过程,从而深入Spark的Master和Worker的通讯机制。学习Spark Master和Worker如何通信之前需要了解 Akka网络编程案例.案例意义深入理解Spark的Master和Worker的通讯机制原创 2021-02-20 15:37:35 · 376 阅读 · 4 评论 -
Akka网络编程案例
Akka网络编程案例需求介绍功能实现添加Maven依赖客户端代码服务端代码样例类执行结果Akka作为spark通信的基础,了解Akka的网络编程有助于了解spark是如何通信的。Akka基础请点击链接需求介绍#mermaid-svg-kXCN1vmGr5m1Orxl .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid原创 2021-02-20 14:54:07 · 202 阅读 · 0 评论 -
并发编程模型Akka
并发编程模型Akka简介Akka 简介Akka 介绍Akka 用于解决什么问题Actor模型Actor模型工作机制Actor应用实例Maven依赖单Actor通信案例多actor通信案例Akka 简介Akka 介绍Akka 是编写并发程序的框架,它提供了一种称为Actor的并发模型,其粒度比线程更小,你可以在系统中启用大量的Actor。Akka用Scala语言编写,同时提供了Scala和Java的开发接口。Akka的出现使得程序员不再过多的考虑线程、锁和资源竞争的问题,可以轻松的写出高效稳原创 2021-02-19 17:08:41 · 518 阅读 · 0 评论 -
Structured Streaming利用withWatermark和window窗口函数实现wordcount
Structured Streaming利用withWatermark和window窗口函数实现WordCountpom添加依赖<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <原创 2020-06-30 12:39:39 · 854 阅读 · 2 评论 -
SparkStraming和SparkSql结合使用案例
案例一SparkStraming和SparkSql结合实现WordCountimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.sql.{DataFrame, SparkSession}object SparkStreamingStudy_rddtosql { def main(args: Array[.原创 2020-07-31 16:57:32 · 178 阅读 · 0 评论 -
SparkStreaming有状态转化操作案例
SparkStreaming有状态转化操作案例SparkStreaming有状态转化操作主要有两种类型滑动窗口和updateStateByKey()滑动窗口Window Operations可以设置窗口的大小和滑动窗口的间隔来动态的获取当前Steaming的允许状态。基于窗口的操作会在一个比 StreamingContext 的批次间隔更长的时间范围内,通过整合多个批次的结果,计算出整个窗口的结果。案例一每间隔十秒都计算前三十秒的数据实现wordcountimport org.apa原创 2020-08-03 18:02:07 · 294 阅读 · 0 评论 -
spark分布式运行xgboost
spark分布式运行xgboost数据集如下所示程序完整代码# coding=UTF-8import osos.environ['PYSPARK_SUBMIT_ARGS'] = '--jars /data/pycharm/zhanglong/pysparkxgboostnew/xgboost4j-spark-0.90.jar,/data/pycharm/zhanglong/pysparkxgboostnew/xgboost4j-0.90.jar pyspark-shell'from py原创 2020-07-13 17:45:42 · 1517 阅读 · 8 评论