关闭

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战001--DateSet实用API详解001

标签: 批处理编程stringapiapache
6623人阅读 评论(0) 收藏 举报
分类:

DateSet的API详解一

print

def print(): Unit

Prints the elements in a DataSet to the standard output stream System.

将信息输出到标准输出设备。

执行程序:

//1.创建一个 DataSet其元素为String类型
val input: DataSet[String] = benv.fromElements("A", "B", "C")

//2.将DataSet的内容打印出来
input.print()

执行结果:

A
B
C

web ui中的执行效果:

printToErr

def printToErr(): Unit

Prints the elements in a DataSet to the standard error stream System.

将信息输出到标准错误输出。

执行程序:

//1.创建一个 DataSet其元素为String类型
val input: DataSet[String] = benv.fromElements("A", "B", "C")

//2.将DataSet的内容打印出来
input.printToErr()

执行结果:

A
B
C

count

def count(): Long

Convenience method to get the count (number of elements) of a DataSet

计算DataSet中元素的个数。

执行程序:

//1.创建一个 DataSet其元素为String类型
val input: DataSet[String] = benv.fromElements("A", "B", "C")

//2.计算DataSet中元素的个数。
input.count

执行结果:

res83: Long = 3
0
0
查看评论

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础004--flink特性:类库和API示例

三、类库和API1.流处理程序flink的 DataStream API在流处理的业务场景下,支持多种数据转换,支持用户自定义状态的操作,支持灵活的窗口操作!示例程序: //1.定义case class case class Word(word: String, freq: Long)//2.定...
  • liguohuaBigdata
  • liguohuaBigdata
  • 2017-11-12 14:06
  • 6993

Apache Flink:特性、概念、组件栈、架构及原理分析

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一般...
  • libing13810124573
  • libing13810124573
  • 2016-05-11 22:07
  • 465

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战026--DateSet实用API详解026

一、Flink DateSet定制API详解(JAVA版) -003Reduce以element为粒度,对element进行合并操作。最后只能形成一个结果。执行程序:package code.book.batch.dataset.advance.api;import org.apache.flink...
  • liguohuaBigdata
  • liguohuaBigdata
  • 2017-11-18 16:29
  • 6445

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战010--DateSet实用API详解010

DateSet的API详解十leftOuterJoindef leftOuterJoin[O](other: DataSet[O], strategy: JoinHint): UnfinishedOuterJoinOperation[T, O] def leftOuterJoin[O](other:...
  • liguohuaBigdata
  • liguohuaBigdata
  • 2017-11-16 09:57
  • 6621

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战003--DateSet实用API详解003

DateSet的API详解三getTypedef getType(): TypeInformation[T]Returns the TypeInformation for the elements of this DataSet.获取DataSet的元素的类型信息执行程序://1.创建一个 Data...
  • liguohuaBigdata
  • liguohuaBigdata
  • 2017-11-15 13:42
  • 6583

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战008--DateSet实用API详解008

DateSet的API详解八distinct def distinct(firstField: String, otherFields: String*): DataSet[T] def distinct(fields: Int*): DataSet[T] def distinct(): DataS...
  • liguohuaBigdata
  • liguohuaBigdata
  • 2017-11-16 09:40
  • 6575

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战015--DateSet实用API详解015

DateSet的API详解十五getParallelismdef getParallelism: IntReturns the parallelism of this operation.获取DataSet的并行度。执行程序://1.创建一个 DataSet其元素为String类型 val inpu...
  • liguohuaBigdata
  • liguohuaBigdata
  • 2017-11-17 09:57
  • 6575

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战009--DateSet实用API详解009

DateSet的API详解九joindef join[O](other: DataSet[O], strategy: JoinHint): UnfinishedJoinOperation[T, O] def join[O](other: DataSet[O]): UnfinishedJoinOper...
  • liguohuaBigdata
  • liguohuaBigdata
  • 2017-11-16 09:54
  • 6510

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战019--DateSet实用API详解019

filterWithdef filterWith(fun: (T) ⇒ Boolean): DataSet[T] Applies a predicate fun to each item of the data set, keeping only those for which the predic...
  • liguohuaBigdata
  • liguohuaBigdata
  • 2017-11-17 10:10
  • 6458

【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战007--DateSet实用API详解007

DateSet的API详解七sortGroupAdds a secondary sort key to this GroupedDataSet. This will only have an effect if you use one of the group-at-a-time, i.e. red...
  • liguohuaBigdata
  • liguohuaBigdata
  • 2017-11-16 09:37
  • 6540
    个人资料
    • 访问:1095840次
    • 积分:11486
    • 等级:
    • 排名:第1608名
    • 原创:193篇
    • 转载:1篇
    • 译文:0篇
    • 评论:5条
    博客专栏
    文章分类
    文章存档