关闭

云星数据---Scala实战系列(精品版)】:Scala入门教程009-Scala实战源码-object(类)

object 用以表示Scala的类package scala_tutorial.demo00_helloworld/** * Created by liguohua on 2015/2/12. */ //这是一个Scala的类,使用object来表示 object HelloScala_01 { //定义一个main方法,作为程序的入口,参数名称为args,参数的类型为Array[Str...
阅读(7) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程009-Scala实战源码-Hello Word

第一个Scala程序 Hello Wordpackage scala_learn.demo00_helloworld/** * Created by liguohua on 2017/3/9. */object First{ def main(args: Array[String]) { println("helloworld") } }...
阅读(9) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程008-Scala数组详解007

六、 scala.Array对象中的常用方法1.引入scala.Array对象。因为以下操作都定义在scala.Array对象中,如果不引入此对象,操作都不能执行。scala> import Array._ import Array._ 2.利用range()创建数组scala> var arr = range(10, 20, 2) arr: Array[Int] = Array(10, 12, 1...
阅读(10) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程007-Scala数组详解006

五、数组的遍历 25.指定步长进行遍历代码如下:package chapter003object ArrayTest { def main(args: Array[String]): Unit = { val arr = Array(18, 20, 87, 4, 23, 109, 167, 23, 2) //指定步长 for (i <- 0 until(arr.lengt...
阅读(37) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程006-Scala数组详解005

五、数组的遍历1.数组的to遍历代码如下:package chapter003 object ArrayTest { def main(args: Array[String]): Unit = { val arr = Array(18, 20, 87, 4, 23) for (i <- 0 to arr.length - 1) { println("arr(" + i...
阅读(33) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程005-Scala数组详解004

四、数组中常用的高阶函数1.count()函数:对数组进行统计,统计不等于0的元素的个数scala> val arr=Array(3,5,8,9,4) arr: Array[Int] = Array(3, 5, 8, 9, 4)scala> arr.count(_ != 0) res28: Int = 52.map()函数:对数组进行的转化,原数组不变scala> val arr=Array(3,5...
阅读(32) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程004-Scala数组详解003

11.查看数组的类型scala> val arr=Array("zhangsan","lisi","wangwu","zhaoliu") arr: Array[String] = Array(zhangsan, lisi, wangwu, zhaoliu)arr.getClass res26: Class[_ <: Array[String]] = class [Ljava.lang.String;...
阅读(13) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程003-Scala数组详解002

三、数组的基本操作数组是可以用下标标识的一组元素的集合。在这个集合上,一般可以执行一些常见的操作!1.获取数组中指定下标的元素scala> val arr=Array(18,20,87,4,23) arr: Array[Int] = Array(18, 20, 87, 4, 23)scala> arr(0) res2: Int = 182.更改数组中指定下标的元素scala> val arr=Arr...
阅读(13) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程002-Scala数组详解001

一、数组的定义1.创建长度为10的int类型数组scala>var arr:Array[Int]=new Array[Int](10) arr: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0)2.数组的类型可以自动推断scala> var arr=new Array[Int](10) arr: Array[Int] = Array(0, 0, 0,...
阅读(14) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程001-使用Intellij IDEA创建scala工程

1.创建Scala工程选择[Create New Porject] 选择,创建[scala]项目,选择【next】 输入项目名称,选择【finish】进入下面的窗口。左侧是工程结构,中间是快捷键提示! 2.创建Scala包输入包名,选择【OK】 包创建完毕! 3.创建Scala对象在弹出的窗口中选择【Kind的类型为Object】 进入主界面,主界面中的代码是自动...
阅读(52) 评论(0)

云星数据---Apache Flink实战系列(精品版)】:Flink其他操作及内容004-flink的背压机制002

flink背压的两种场景1.本地传输如果task1和task2都运行在同一个工作节点(TaskManager),缓冲区可以被直接共享给下一个task,一旦task 2消费了数据它会 被回收。如果task 2比task 1慢,buffer会以比task 1填充的速度更慢的速度进行回收从而迫使task 1降速。 2.网络传输如果task 1和task 2运行在不同的工作节点上。一旦缓冲区内的数据被发...
阅读(50) 评论(0)

云星数据---Apache Flink实战系列(精品版)】:Flink其他操作及内容003-flink的背压机制001

《flink中的背压的处理原理》什么是背压问题流系统中消息的处理速度跟不上消息的发送速度,导致消息的堆积。如果系统能感知消息堆积,并调整消息发送的速度。 使消息的处理速度和发送速度相协调就是有背压感知的系统。背压如果不能得到正确地处理,可能会导致资源被耗尽或者 甚至出现更糟的情况导致数据丢失。flink就是一个有背压感知的基于流的分布式消息处理系统。 举例说明: 1.正常情况:消息处理速...
阅读(45) 评论(0)

云星数据---Apache Flink实战系列(精品版)】:Flink其他操作及内容002-Flink基于流的windowAndFunction操作001

一、流处理的基本概念1.全局窗口(Global Windows)1.1全局窗口概念1.用户上京东购物,会进行一系列的操作,比如(点击、浏览、搜索、购买、付款等),用户的操作可以被记录为用户操作数据流。 2.京东上的用户会同时有多个,每个用户的操作都是独立的,随机的,因此用户之间的行为没有必然联系,没有统一规律。 3.该窗口仅在有一个自定义trigger时才有用。否则由于global window没有...
阅读(44) 评论(0)

云星数据---Apache Flink实战系列(精品版)】:Flink其他操作及内容001-Flink基于流的SessionWindow操作001

一、数据流和sessionc窗口1.数据流1.用户上京东购物,会进行一系列的操作,比如(点击、浏览、搜索、购买、付款等),用户的操作可以被记录为用户操作数据流。 2.京东上的用户会同时有多个,每个用户的操作都是独立的,随机的,因此用户之间的行为没有必然联系,没有统一规律。2.会话窗口(Session Windows)2.1会话窗口概念1.用户的行为有时是一连串的,形成的数据流也是一连串的 2.我们把...
阅读(65) 评论(0)

云星数据---Apache Flink实战系列(精品版)】:Flink流处理API详解与编程实战013-Flink在流处理中常见的sink和source002

3.基于网络套接字的source(Socket-based-source)方法原型def socketTextStream(hostname: String, port: Int, delimiter: Char = '\n', maxRetry: Long = 0):DataStream[String]示例程序package code.book.stream.sinksource.scala//0...
阅读(64) 评论(0)

云星数据---Apache Flink实战系列(精品版)】:Flink流处理API详解与编程实战012-Flink在流处理中常见的sink和source001

一、flink在流处理上的sourceflink在流处理上的source和在批处理上的source基本一致。大致有4大类 1.基于本地集合的source(Collection-based-source) 2.基于文件的source(File-based-source) 3.基于网络套接字的source(Socket-based-source) 4.自定义的source(Custom-source)1...
阅读(63) 评论(0)

云星数据---Apache Flink实战系列(精品版)】:Flink流处理API详解与编程实战011-DataStream与MySql自定义sink和source(Java版)003

四、自定义sink1.自定义sinkpackage code.book.stream.customsinkandsource.jdbc.java;import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.functions.sink.RichSinkFunction; impo...
阅读(48) 评论(0)

云星数据---Apache Flink实战系列(精品版)】:Flink流处理API详解与编程实战004-Flink基于流的window操作002

三、交通场景下time-window实战1.tumbling-time-window (无重叠数据)实战1.0实战目的每5秒钟统计一次,在这过去的5秒钟内,各个路口通过红绿灯汽车的数量。...
阅读(100) 评论(0)

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用020-Flink中参数传递和容错设定004

二、flink中的容错设置flink支持容错设置,当操作失败了,可以在指定重试的启动时间和重试的次数.有两种设置方式 1.通过配置文件,进行全局的默认设定 2.通过程序的api进行设定。1.通过配置flink-conf.yaml来设定全局容错设定出错重试3次...
阅读(45) 评论(0)

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用019-Flink中参数传递和容错设定003

通过ExecutionConfig向Function传递参数执行程序...
阅读(39) 评论(0)
131条 共7页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:8371次
    • 积分:1369
    • 等级:
    • 排名:千里之外
    • 原创:131篇
    • 转载:0篇
    • 译文:0篇
    • 评论:1条
    文章分类
    文章存档