- 博客(3)
- 资源 (17)
- 收藏
- 关注
原创 Apache Beam -- 编程指南
指南Beam Programming Guide适用于希望使用Beam SDK创建数据处理流水线的Beam用户。 它为使用Beam SDK类构建和测试管道提供了指导。 它不是一个详尽的参考,而是作为一种语言无关的高级指南,以编程方式构建您的Beam管道。概述要使用Beam,您需要首先使用其中一个Beam SDK中的类创建驱动程序。 您的驱动程序定义了您的管道,包括所有输入,转换和输出;...
2019-02-19 20:47:12 1694
原创 Apache Beam -- 简介
概述在大数据的浪潮之下,技术的更新迭代十分频繁。受技术开源的影响,大数据开发者提供了十分丰富的工具。但也因为如此,增加了开发者选择合适工具的难度。在大数据处理一些问题的时候,往往使用的技术是多样化的。这完全取决于业务需求,比如进行批处理的MapReduce,实时流处理的Flink,以及SQL交互的Spark SQL等等。而把这些开源框架,工具,类库,平台整合到一起,所需要的工作量以及复杂度,可...
2019-02-14 19:56:12 25207 2
原创 Go语言--空结构体struct{}解析
简介有c/c++学习经历的会发现go的struct语法和c/c++很类型,但是golang的struct{}很有意思。做控制而非数据信息:chan struct{} 实现set: map[string]struct{}解析结构体是没有位段的结构体,以下是空结构体的一些例子:type Qstruct{} varqstruct{}但是如果一个就结构体没有位段,不包含任何...
2019-02-13 18:36:25 14373 4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人