- 博客(7)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 [Alluxio基础]-- 初识 Alluxio(原名 Tachyon )
1、前言我们有了解分布式文件系统(HDFS)、分布式计算（如Spark），但是肯定有许多小伙伴未曾了解过 Alluxio，当然我也未曾深入了解，那么，今天，我们就一起初步了解下 Alluxio。它是什么？它能用在哪里？它的特性是什么？以及它是怎样工作的？2、Alluxio是什么？ Alluxio项目起源于加州大学伯克利分校AMPLab的一项名为Tachyon的研究项目，该项目是伯克...
2018-12-31 13:09:44
1394
原创 [Hive进阶]- Hive with as 语法
前言 公用表表达式（CTE）是从WITH子句中指定的简单查询派生的临时结果集（会把查询的表数据放到内存中，供其他查询随时使用），该子句紧跟在SELECT或INSERT关键字之前。CTE仅在单个语句的执行范围内定义。可以在HiveSELECT，INSERT，CREATE TABLE AS SELECT或CREATE VIEW AS SELECT语句中使用一个或多个CTE...
2018-12-29 11:16:31
14141
8
原创 [Flink课程]---- 2.2 DataSet API & DataStream API & Table & SQL API 的对比
说明 本文基于 Flink -1.6.0 版本进行整理和分析，如有不妥之处，敬请指正。内容一、Flink 的技术栈图片来源：https://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/components.html注意Table API & SQL 统一了 DataStre...
2018-12-22 11:47:46
2529
原创 [Flink课程]---- 2.3 部署方式
一、支持的部署方式Local Standalone Yarn Mesos Docker Kubernetes AWS……二、几个角色ResourceManager NodeManager AppMaster Container YarnSession注：选择On Yarn 的理由提高机器的利用率 Hadoop 开源活跃，且成熟三、Flink on y...
2018-12-17 21:11:29
709
原创 [Flink基础]-- 一致性的3个级别
Flink 是流处理器，那么同样会涉及到一致性的3个级别，他们分别如下1、at-most-once这其实是没有正确性保障的委婉说法，故障发生后，计数可能丢失。2、at-least-once这表示计数结果可能大于正确值，但是绝不会小于正确值，即计数程序发生故障后可能多算，但是绝不会少计算。3、exactly-once这是指系统保证在故障发生后得到的计数结果与正确值一致。...
2018-12-13 11:26:32
1258
翻译 [Scala 基础]-- 词汇语法
英文原文：https://www.scala-lang.org/files/archive/spec/2.11/01-lexical-syntax.html#integer-literals词法语法Scala程序使用Unicode Basic Multilingual Plane（BMP）字符集编写; 目前不支持Unicode补充字符。本章定义了Scala的词法语法的两种模式，即Scala...
2018-12-11 12:32:54
605
原创 [Flink基础]-- 1.4 与其他实时计算框架对比
对比其他计算框架SparkStormFlinkStreaming ModelMicro-batchNativeNativeFault ToleranceRDD based checkpointingRecord ACKscheckpointLatencyMediumVery LowLowThroughoutHighLowHigh...
2018-12-07 23:30:09
1764
Canal开源产品介绍
2018-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人