SparkStreaming可视化之Wisp

最新推荐文章于 2024-01-28 14:34:02 发布
最新推荐文章于 2024-01-28 14:34:02 发布
阅读量1.8k 收藏 1
点赞数 3
分类专栏： SparkStreaming 文章标签： sparkStreaming 可视化 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/legotime/article/details/51913466
版权

-----------------------------------目录---------------------------------------

1、Wisp基础

2、Highchart函数

3、SparkStream和Wisp结合实验

-------------------------------------------------------------------------------

1、Wisp基础

Wisp的gitHub地址：

https://github.com/quantifind/wisp

Wisp的sbt路径依赖 

"com.quantifind" %% "wisp" % "0.0.4"

Wisp的maven依赖 

<dependency>
            <groupId>com.quantifind</groupId>
            <artifactId>wisp_2.10</artifactId>
            <version>0.0.4</version>
</dependency>

注意:Wisp的开发已经在一年多前就停止了开发了，但是因为能满足一些必要的功能，而且可以把Spark处理后的数据 进行Web端的显示，所以不失为一种数据展示的一种手段。


1、wisp的初次见面

第一步：注入依赖，我的sbt的build.sbt如下：

name := "hello"

organization := "blog.csdn.net\legotime"

version := "0.0.1-SNAPSHOT"

scalaVersion := "2.10.4"

libraryDependencies ++= Seq("com.quantifind" %% "wisp" % "0.0.4")
第二步：进入控制台界面（sbt  console）

运行如下：

import com.quantifind.charts.Highcharts._
line((1 to 10), (1 to 10))

第三步：web端就可以直接显示刚刚我们画的图



不仅仅sbt，而且可以直接在IDEA上注入maven依赖之后，可以在IDEA上操作，数据展示依然在web端。

可以说  Wisp在数据展示也不比Zeppelin差

更多初步操作可以访问：

https://github.com/quantifind/wisp/wiki/Blog











2、 Highchart函数




case class Highchart(val series : scala.collection.Traversable[com.quantifind.charts.highcharts.Series],

 val title : scala.Option[com.quantifind.charts.highcharts.Title] = { /* compiled code */ }, 
 val chart : scala.Option[com.quantifind.charts.highcharts.Chart] = { /* compiled code */ },
 val colors : scala.Option[scala.Array[com.quantifind.charts.highcharts.Color.Type]] = { /* compiled code */ }, 
 val credits : scala.Option[com.quantifind.charts.highcharts.Credits] = { /* compiled code */ },
 val exporting : scala.Option[com.quantifind.charts.highcharts.Exporting] = { /* compiled code */ }, 
 val legend : scala.Option[com.quantifind.charts.highcharts.Legend] = { /* compiled code */ },
 val plotOptions : scala.Option[com.quantifind.charts.highcharts.PlotOptions] = { /* compiled code */ }, 
 val subtitle : scala.Option[com.quantifind.charts.highcharts.Title] = { /* compiled code */ }, 
 val setTurboThreshold : scala.Boolean = { /* compiled code */ },
 val tooltip : scala.Option[com.quantifind.charts.highcharts.ToolTip] = { /* compiled code */ }, 
 val xAxis : scala.Option[scala.Array[com.quantifind.charts.highcharts.Axis]] = { /* compiled code */ }, 
 val yAxis : scala.Option[scala.Array[com.quantifind.charts.highcharts.Axis]] = { /* compiled code */ }) extends scala.AnyRef with scala.Product with scala.Serializable {


第一部分：series
case class Series(val data : scala.collection.Traversable[com.quantifind.charts.highcharts.Data[_, _]], 
val index : scala.Option[scala.Int] = { /* compiled code */ }, 
val legendIndex : scala.Option[scala.Int] = { /* compiled code */ }, 
val name : scala.Option[scala.Predef.String] = { /* compiled code */ }, 
val chart : scala.Option[com.quantifind.charts.highcharts.SeriesType.Type] = { /* compiled code */ }, 
val visible : scala.Option[scala.Boolean] = { /* compiled code */ }, 
val color : scala.Option[com.quantifind.charts.highcharts.Color.Type] = { /* compiled code */ }, 
val xAxis : scala.Option[scala.Predef.String] = { /* compiled code */ }, 
val yAxis : scala.Option[scala.Predef.String] = { /* compiled code */ },
 val __name : scala.Predef.String = { /* compiled code */ }) extends com.quantifind.charts.highcharts.HighchartKey with scala.Product with scala.Serializable {




9个参数：
data:她是一个具有traversable属性的数据集合，内部形式是Data[x,y],其中  x是在坐标的位置，y的数值大小
index:目前没有看出有什么作用
legendIndex:目前没有看出有什么作用
name:这张表的名字和功能（底部和数据内都可见）
chart：使用那个表（(area, areaspline, bar, column, line, pie, scatter（上面一个一个的点）, spline)）
note:pie内其他标记名字不一样


visible：在界面可以是否可以观看到
color："#"+Integer.toHexString(color.getRGB()).substring(2)发现就几种颜色
xAxis:
yAxis:不知道怎么设置
__name：设置没图像：Ensures the object can be cast to Map[String, Any] so we can perform json serialization(_name = "Series",才有图像)






第二部：title
case class Title(
                  text: String = "", // Override default "Chart title"
                  align: Option[Alignment.Type] = None,
                  floating: Option[Boolean] = None,
                  style: Option[CSSObject] = None,
                  useHTML: Option[Boolean] = None,
                  verticalAlign: Option[VerticalAlignment.Type] = None,
                  x: Option[Int] = None,
                  y: Option[Int] = None,
                  var __name: String = "title"
                  ) extends HighchartKey(__name) {
  def toServiceFormat =
    Map("text" -> text) ++
      Map(
        "align" -> align,
        "floating" -> floating,
        "useHTML" -> useHTML,
        "verticalAlign" -> verticalAlign,
        "x" -> x,
        "y" -> y
      ).flatMap(HighchartKey.flatten)  ++
      HighchartKey.someStyleToServiceFormat(style)
}
参数分析：
text：title = "hello"：设置图像的title为 "hello"  不设置 是没有
align: 是判断在（左，中，右）("left", "center", "right") 不设置是中
floating：true是在图内部的上面，false 是在图的外部上面
style: Option[CSSObject] = None,
useHTML：没效果
verticalAlign：("top", "middle", "bottom")  title竖直位置  默认是 top
x
y:  x，y是自己设定位置
var __name: String = "title"（现在默认是title,恐怕以后还有其他功能）




第三部：Chart
zoomType: Option[Zoom.Type] = Some(Zoom.xy) 默认情况下是 Zoom.xy,也就是上下都放大




第四部分：colors
object Color {
  type Type = String
  implicit def javaColorToHex(color: java.awt.Color): Type = "#"+Integer.toHexString(color.getRGB()).substring(2)
  implicit def javaColorToHexOption(color: java.awt.Color): Option[Type] = Some("#"+Integer.toHexString(color.getRGB()).substring(2))


}
通过设置java里面的颜色来进行画线，但是必须保证前面是没有设置颜色的，如果设置，那么就是取前面设置的颜色
Color.javaColorToHex(java.awt.Color.PINK)  //在這里设置颜色的不好之处在于pie全部颜色为一个颜色




第五部分：credits
case class Credits(
                    enabled: Option[Boolean] = None,
                    href: String = "", // Override default Highcharts
                    position: Option[Position] = None,
                    style: Option[CSSObject] = None,
                    text: String = "" // Override default Highcharts
                    ) extends HighchartKey("credits")
Credits(enabled = true,href = "good",position = Position(x = 100,y = 100),style = CSSObject(color = Color.javaColorToHex(java.awt.Color.BLUE),fontWeight = "lighter"),text = "what the ")




第六部分：exporting（保存图像配置信息）
case class Exporting(
                      //buttons
                      //chartOptions
                      filename: String = "chart",  //保存时候的文件名字
                      scale: Option[Int] = None,
                      sourceHeight: Option[Int] = None,
                      sourceWidth: Option[Int] = None,
                      _type: Option[String] = None,
                      url: Option[String] = None,
                      width: Option[Int] = None
                      ) extends HighchartKey("exporting") {/**/}
 


第七部分：legend
// No more than 22 members in a case class TODO
case class Legend(
                   align: Option[Alignment.Type] = None,
                   backgroundColor: Option[Color.Type] = None,
                   borderColor: Option[Color.Type] = None,
                   //  borderRadius: Int = 5,
                   //  borderWidth: Int = 2,
                   enabled: Option[Boolean] = Some(false), // override default
                   floating: Option[Boolean] = None,
                   itemDistance: Option[Int] = None,
                   //itemHiddenStyle
                   //itemHoverStyle
                   itemMarginBottom: Option[Int] = None,
                   itemMarginTop: Option[Int] = None,
                   //itemStyle
                   itemWidth: Option[Int] = None,
                   labelFormat: Option[String] = None, // TODO - format string helpers
                   //labelFormatter
                   layout: Option[Layout.Type] = None,
                   margin: Option[Int] = None,
                   maxHeight: Option[Int] = None,
                   //navigation
                   padding: Option[Int] = None,
                   reversed: Option[Boolean] = None,
                   rtl: Option[Boolean] = None, // right-to-left
                   //shadow
                   //style
                   //  symbolPadding: Int = 5,
                   //  symbolWidth: Int = 30,
                   title: Option[String] = None, // todo - css title
                   //  useHTML: Boolean = false,
                   verticalAlign: Option[VerticalAlignment.Type] = None,
                   width: Option[Int] = None,
                   x: Option[Int] = None,
                   y: Option[Int] = None
                   ) extends HighchartKey("legend") {/**/}


第八部分：plotOptions


// These are overlapping options, but are well over 22 options.
case class PlotOptions(
                        area: Option[PlotOptionKey] = None,
                        arearange: Option[PlotOptionKey] = None,
                        areaspline: Option[PlotOptionKey] = None,
                        areasplinerange: Option[PlotOptionKey] = None,
                        bar: Option[PlotOptionKey] = None,
                        boxplot: Option[PlotOptionKey] = None,
                        bubble: Option[PlotOptionKey] = None,
                        column: Option[PlotOptionKey] = None,
                        columnrange: Option[PlotOptionKey] = None,
                        errorbar: Option[PlotOptionKey] = None,
                        funnel: Option[PlotOptionKey] = None,
                        gauge: Option[PlotOptionKey] = None,
                        heatmap: Option[PlotOptionKey] = None,
                        line: Option[PlotOptionKey] = None,
                        pie: Option[PlotOptionKey] = None,
                        pyramid: Option[PlotOptionKey] = None,
                        scatter: Option[PlotOptionKey] = None,
                        series: Option[PlotOptionKey] = None,
                        solidgauge: Option[PlotOptionKey] = None,
                        spline: Option[PlotOptionKey] = None,
                        waterfall: Option[PlotOptionKey] = None,
                        var __name: String = PlotOptions.name
                        ) extends HighchartKey(__name) {/**/}




第九个参数 ：subtitle
case class Title(
                  text: String = "", // Override default "Chart title"
                  align: Option[Alignment.Type] = None,
                  floating: Option[Boolean] = None,
                  style: Option[CSSObject] = None,
                  useHTML: Option[Boolean] = None,
                  verticalAlign: Option[VerticalAlignment.Type] = None,
                  x: Option[Int] = None,
                  y: Option[Int] = None,
                  var __name: String = "title"
                  ) 




第十个参数：setTurboThreshold: Boolean = true,
第十一个参数：tooltip: Option[ToolTip] = None,
case class ToolTip(
                    animation: Option[Boolean] = None,
                    backgroundColor: Option[Color.Type] = None,
                    borderColor: Option[Color.Type] = None,
                    borderRadius: Option[Int] = None,
                    borderWidth: Option[Int] = None,
                    // crosshairs
                    dateTimeLabelFormats: Option[DateTimeFormats] = None, // this has different defaults than the Axis
                    enabled: Option[Boolean] = None,
                    followPointer: Option[Boolean] = None,
                    followTouchMove: Option[Boolean] = None,
                    footerFormat: Option[String] = None,
                    //formatter
                    //headerFormat
                    hideDelay: Option[Int] = None,
                    //pointFormat
                    //positioner
                    shadow: Option[Boolean] = None,
                    shared: Option[Boolean] = None,
                    snap: Option[Int] = None,
                    //style
                    useHTML: Option[Boolean] = None,
                    valueDecimals: Option[Int] = None,
                    valuePrefix: Option[String] = None,
                    valueSuffix: Option[String] = None,
                    xDateFormat: Option[String] = None
                    ) extends HighchartKey("ToolTip") {/**/}


第十二个参数：xAxis
case class Axis(
                 title: Option[AxisTitle] = Some(AxisTitle()),
                 allowDecimals: Option[Boolean] = None,
                 alternateGridColor: Option[Color.Type] = None,
                 categories: Option[Array[String]] = None,
                 dateTimeLabelFormats: Option[DateTimeFormats] = None,
                 endOnTick: Option[Boolean] = None,
                 //events
                 //  gridLineColor: Color.Type = "#C0C0C0",
                 //  gridLineDashStyle: String = "Solid",       // TODO Bundle
                 //  gridLineWidth: Int = 2,
                 var id: Option[String] = None,
                 labels: Option[AxisLabel] = None,
                 lineColor: Option[Color.Type] = None,
                 lineWidth: Option[Int] = None,
                 //linkedTo
                 max: Option[Int] = None,
                 //  maxPadding: Double = 0.01,
                 min: Option[Int] = None,
                 //  minPadding: Double = 0.01,
                 minRange: Option[Int] = None,
                 minTickInterval: Option[Int] = None,
                 //minor
                 offset: Option[Int] = None,
                 opposite: Option[Boolean] = None, // opposite side of chart, ie left / right for y-axis
                 //plotBands
                 //plotLines // TODO Kevin wants these
                 reversed: Option[Boolean] = None,
                 //  showEmpty: Boolean = false,
                 showFirstLabel: Option[Boolean] = None,
                 showLastLabel: Option[Boolean] = None,
                 //startOfWeek
                 startOnTick: Option[Boolean] = None,
                 //  tickColor: Color.Type = "#C0D0E0",
                 // TICK STUFF TODO
                 axisType: Option[AxisType.Type] = None,
                 var __name: String = "yAxis"
                 ) extends HighchartKey(__name) {/**/}




第十三个参数：yAxis：同上



3、SparkStream和Wisp结合实验

import org.apache.log4j.{Level, Logger}
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}

import com.quantifind.charts.Highcharts._
import com.quantifind.charts.highcharts._
import com.quantifind.charts.highcharts.Highchart._


object  windowOnStreaming {
  def main(args: Array[String]) {
    /**
      * this is test  of SparkStreaming  and wisp
      */
    Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
    Logger.getLogger("org.eclipse.jetty.Server").setLevel(Level.OFF)

    val conf = new SparkConf().setAppName("the Window operation of SparK Streaming").setMaster("local[2]")
    val sc = new SparkContext(conf)
    val ssc = new StreamingContext(sc,Seconds(10))


    //set the Checkpoint directory
    ssc.checkpoint("/Res")

    //get the socket Streaming data
    val socketStreaming = ssc.socketTextStream("master",9999)

    val data = socketStreaming.map(x =>(x,1)).reduceByKey(_+_)
    data.foreachRDD( rdd =>{
      val topWords=rdd.top(20)(Ordering.by[(String,Int),Int](_._2))

      
      val (words,counts)=topWords.unzip

      var hc=Highchart(Series(counts.zipWithIndex.map({case(x,y)=>(y,x)}), chart = SeriesType.column, name = "Word Counts", color = "#377"))

      /**
        * 设置参数 可以按如下模板
        * var hc=Highchart(Series(counts.zipWithIndex.map({case(x,y)=>(y,x)}), chart = SeriesType.column,name = "Word Counts", __name = "series"),
          Title(text = "hello",align = "center",floating = false,useHTML = true,verticalAlign = "top",x = 1,y = 1,__name = "title"),
          Chart(zoomType = Zoom.xy),
          Color.javaColorToHex(java.awt.Color.magenta),
          Credits(enabled = true,href = "good",position = Position(x = 100,y = 100),style = CSSObject(color = Color.javaColorToHex(java.awt.Color.BLUE),fontWeight = "lighter"),text = "what the "),
          Exporting(filename = "hi"),
          Legend(backgroundColor = Color.javaColorToHex(java.awt.Color.darkGray)),
          PlotOptions(area = PlotOptionKey(borderWidth = 12,groupPadding = 10,pointPadding = 14,stacking = Stacking.normal)),
          Title(text = "I am lego"),
          true,
          ToolTip(animation = true,backgroundColor = Color.javaColorToHex(java.awt.Color.cyan)),
          Axis( title = AxisTitle(text = "i am X "),lineColor = Color.javaColorToHex(java.awt.Color.BLACK)),
          Axis( title = AxisTitle(text = "i am Y "),lineColor = Color.javaColorToHex(java.awt.Color.gray))
      )
        */

      hc = hc.copy(xAxis = hc.xAxis.map {

        axisArray => axisArray.map { _.copy(axisType = Option("category"), categories = Option(words.toArray)) }})


      plot(hc)
    }

    )



    ssc.start()
    ssc.awaitTermination()
  }

}

结果如下：

每个batchInterval 一个图





































 
 







legotime
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark数据可视化：使用Spark与Tableau/Power BI进行数据可视化分析
liqinkuaia的博客
01-08 1324
通过Spark与Tableau/Power BI的集成，我们可以实现大数据的高效处理和直观的可视化分析。首先，我们需要明确在使用Tableau或Power BI进行数据可视化之前，Spark在整个数据处理流程中的角色。集成后，用户可以在Tableau中创建各种图表、仪表板，并利用Tableau的交互功能进行深入的数据探索。与Tableau类似，Power BI也提供了丰富的可视化组件和交互功能，用户可以创建报告、仪表板等。Power BI是微软推出的一款商业智能工具，也可以与Spark进行集成。
Spark实时数据流分析与可视化：实战指南【上进小菜猪大数据系列】
m0_71592416的博客
06-11 1598
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。本文介绍了如何利用Apache Spark技术栈进行实时数据流分析，并通过可视化技术将分析结果实时展示。我们将使用Spark Streaming进行数据流处理，结合常见的数据处理和可视化库，实现实时的数据流分析和可视化展示。本文包括了数据流处理、实时计算、可视化展示三个主要步骤，并提供相应的代码示例和技术细节。
实战：Spark在大数据可视化中的应用
禅与计算机程序设计艺术
01-21 1585
1.背景介绍 大数据可视化是现代数据科学的一个重要领域，它涉及到如何将大量、复杂的数据转化为易于理解和分析的视觉表示。Apache Spark是一个流行的大数据处理框架，它提供了一种高效、灵活的方法来处理和分析大数据集。在这篇文章中，我们将探讨Spark在大数据可视化中的应用，并深入了解其核心概念、算法原理、最佳实践以及实际应用场景。 1. 背景介绍 大数据可视化是指将大量数据通过图表、图形...
通过可视化图了解您的 Spark 应用程序
三丰的专栏
10-12 825
过去，Apache Spark UI 在帮助用户调试应用程序方面发挥了重要作用。在最新的 Spark 1.4 版本中，我们很高兴地宣布数据可视化浪潮已经进入 Spark UI。此版本中新增的可视化功能包括三个主要组件： Spark 事件的时间线视图 执行 DAG Spark Streaming 统计数据的可视化 这篇博文将是由两部分组成的系列文章中的第一篇。这篇文章将涵盖前两个组成部分，并将最后一个部分保存到下一周的后续文章中。 Spark 事件的时间线视图 自 Spark 的早期版本以来，Spark
基于SPARK的淘宝用户购物行为可视化分析
番茄薯仔
04-19 2650
这篇文章旨在练习大数据Spark操作，做一些简单的分析。后续阶段将基于三台虚拟机情况下进行调优，以期实现性能最优化。
SparkStreaming注意要点
qq_37283909的博客
05-30 418
http://spark.apache.org/docs/latest/streaming-programming-guide.html Spark官网已经已经将用法与概念写的很详细了。这里写一点平时需要注意的要点。 Spark：是以批处理为主，用微批处理来处理流数据 Flink：以流处理为主，用流处理来处理批数据 StreamingContext ssc ==> Source ==&gt...
SparkStreaming详解
SOARING
04-28 929
Spark core的扩展，支持弹性，高吞吐，容错，实时数据流处理。多数据源，kafka、flume、TCP socket等 也可进行如map，reduce，join，window等高阶函数组成的复杂算法处理。处理结果写入文件系统、数据库、实时表盘中。 内部工作原理是把实时输入数据流切分成多个批数据，交给spark引擎处理并分批生成数据流。 提供高度抽象离散流（discretized s...
aclk.rar_WISP_无源标签
09-14
标题中的"aclk.rar_WISP_无源标签"指的是一个与WISP（Wireless Identification and Sensing Platform）技术相关的无源RFID（Radio Frequency Identification）标签项目。WISP是一种基于射频识别的无线传感器平台，它...
WISP模式是什么意思 WISP和WDS哪些区别？WISP配置方法
10-01
WISP是Wireless Internet Service Provider的简称，中文名称是：无线局域网运营商，在无线路由器中叫做无线WAN功能
360路由器怎么使用WISP实现无线桥接?
10-01
360路由器怎么使用WISP实现无线桥接？360路由器想要实现无线桥接，但是却没有无线桥接功能，我们今天就来看看使用线万能中继(WISP)实现无线桥接的教程，需要的朋友可以参考下
wisp:JavaScript中有点像Clojure的LISP
04-06
script type =" application/wisp " src =" my-script.wisp " > </ script > 或使用npm安装二进制文件： npm install wisp 像CoffeeScript一样，将Wisp代码编译为本机JS： node_modules/.bin/wisp ...
腾达刷wisp W3000R
02-11
腾达刷wisp W3000R是一个关于路由器固件升级的主题，主要涉及的是将腾达（Tenda）W3000R型号的无线路由器进行特定的固件定制，以便将其转换为WISP（无线互联网服务提供商）模式。在WISP模式下，路由器可以作为无线...
Spring-IOC小案例--实现打印机功能
zTaooooo的博客
03-17 529
Spring-IOC小案例--实现打印机功能
【大数据学习篇12】 Spark项目实战-数据可视化
m0_56073435的博客
05-31 4281
SpringBoot 的设计目的是为了简化Spring应用的初始搭建以及开发过程，摆脱复杂的手动配置，能迅速搭建起一个Java Web项目。MyBatis是一个开源的数据持久层框架，其内部封装了JDBC访问数据库的操作，支持普通的SQL查询、存储过程和高级映射。Echarts是一个使用 JavaScript 实现的开源可视化库，可以流畅的运行在 PC 和移动设备上，提供了多种丰富的可视化类型。多学一招：Phoenix查询引擎与MyBatis。
基于Spark+Grafana可视化电商项目实战，值得收藏~
05-25 1654
原创肝文！基于Spark+Grafana可视化电商项目实战
掌握Spark的数据可视化与报告技术
禅与计算机程序设计艺术
01-25 642
1.背景介绍 在大数据时代，Spark作为一种流行的大数据处理技术，已经成为许多企业和组织的首选。然而，在处理大量数据时，数据可视化和报告技术的需求也越来越高。本文将揭示Spark的数据可视化与报告技术的核心概念、算法原理、最佳实践以及实际应用场景，为读者提供一个全面的技术解析。 1. 背景介绍 数据可视化和报告技术在大数据处理中具有重要意义。它们可以帮助用户更好地理解和分析数据，从而提高工...
学习Spark的数据可视化和报表
禅与计算机程序设计艺术
01-28 867
1.背景介绍 在大数据时代，数据可视化和报表彻底成为了企业和组织中不可或缺的工具。Apache Spark作为一个快速、高效的大数据处理框架，在数据处理和分析方面发挥了巨大作用。本文将从以下几个方面进行深入探讨： 1. 背景介绍 数据可视化和报表是数据分析的重要组成部分，可以帮助我们更好地理解和挖掘数据中的信息。Spark提供了丰富的数据可视化和报表功能，可以帮助我们更快更好地进行数据分析和...
数据可视化
zhuliyi19901102的博客
10-25 1600
Spark on Yarn安装 一、安装Scala 1.把Scala的jar包上传到master的目录下，创建工作路径并解压Scala到工作路径下 mkdir -p /usr/scala/ tar -zxvf scala-2.11.12.tgz -C /usr/scala/ 等待执行完毕 2.配置环境变量（三台虚拟机） vi /etc/profile 添加 #set scala export SCALA_HOME=/usr/scala/scala-2.11.12 export PATH=SCALAHOME/
SparkStreaming之foreachRDD
热门推荐
legotime的博客
07-06 2万+
首先我们来对官网的描述了解一下。 DStream中的foreachRDD是一个非常强大函数，它允许你把数据发送给外部系统。因为输出操作实际上是允许外部系统消费转换后的数据，它们触发的实际操作是DStream转换。所以要掌握它，对它要有深入了解。下面有一些常用的错误需要理解。经常写数据到外部系统需要创建一个连接的object（eg:根据TCP协议连接到远程的服务器，我们连接外部数据库需要自己的句柄
计算机网络 wisp
最新发布
06-08
WISP（Wireless Internet Service Provider）是一种无线互联网服务供应商，它主要通过无线技术（如Wi-Fi、蜂窝数据或卫星通信）为用户提供互联网接入服务，特别适合于那些传统有线网络覆盖不到的偏远地区、户外环境...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值