实时计算
文章平均质量分 86
Ransom0512
这个作者很懒,什么都没留下…
展开
-
VoltDB介绍
VoltDB介绍简介VoltDB数据库是一个分布式,可扩展,shared-nothing的内存数据库。使用JAVA 写的存储过程来定义事务。使用标准SQL访问数据,使用并行的单线程处理方式确保数据一致性,同时避免了传统数据库的锁,插销,资源管理开销。 VoltDB具有如下特点: 高吞吐量:百万次每秒 横向拓展:可以根据需求自由拓展,性能线性增长。 高可用性:数据支持副本、也可以持原创 2015-12-31 11:00:45 · 9731 阅读 · 4 评论 -
流处理基本介绍
1. 什么是流处理一种被设计来处理无穷数据集的数据处理系统引擎2. 流处理的几个概念1. 无穷数据(Unbounded data):一种持续生成,本质上是无穷尽的数据集。它经常会被称为“流数据”。然而,用流和批次来定义数据集的时候就有问题了,因为如前所述,这就意味着用处理数据的引擎的类型来定义数据的类型。现实中,这两类数据的本质区别在于是否有限,因此用能体现出这个区别的词汇原创 2017-01-23 10:14:56 · 25478 阅读 · 0 评论 -
Calcite中的流式SQL
Calcite中的流式SQLCalcite中的流式SQL总体设计思路总体语法应该兼容SQL,这个是和目前流处理SQL的发展趋势是一致的。 如果部分功能标准SQL中没有包含,则尽量采用业界标杆(Oracle)。比如模式匹配的功能,目前流处理中还没有针对语法达成共识,那么在设计上,就采用Oracle data warehouse的Match Recognize的方式。还有滑窗功能。 如果还有功能目前原创 2017-01-17 14:44:22 · 3167 阅读 · 0 评论 -
KafkaStreams介绍(二)
说明:本文是Confluent Platform 3.0版本中对于Kafka Streams的翻译。原文地址:https://docs.confluent.io/3.0.0/streams/index.html看了很多其他人翻译的文档,还是第一次翻译,有什么翻译的不好的地方还请指出。 这是Kafka Streams介绍的第二篇,以前的介绍如下:http://blog.csd翻译 2016-07-21 19:41:14 · 7139 阅读 · 0 评论 -
Kafka Stream介绍(—)
Kafka Stream介绍(—)介绍Kafka Stream – 举重若轻的强大Kafka stream。Apache Kafka开源项目的一个组成部分。是一个功能强大,易于使用的库。用于在Kafka上构建高可分布式、拓展性,容错的应用程序。它建立在流处理的一系列重要功能基础之上,比如正确区分事件事件和处理时间,处理迟到数据以及高效的应用程序状态管理。 下面的列表强调了Kafka Stream的翻译 2016-07-20 18:52:35 · 13693 阅读 · 0 评论 -
KafkaStreams介绍(四) –架构
说明:本文是Confluent Platform 3.0版本中对于Kafka Streams的翻译。原文地址:https://docs.confluent.io/3.0.0/streams/index.html看了很多其他人翻译的文档,还是第一次翻译,有什么翻译的不好的地方还请指出。 这是Kafka Streams介绍的第四篇,以前的介绍如下:http://blog.csd翻译 2016-08-03 17:12:56 · 10084 阅读 · 0 评论 -
Twitter Heron阅读笔记
Twitter Heron阅读笔记说明:本文是《Twitter Heron: Stream Processing at Scale》的阅读记录整理,再结合网上其他资料整理而成,文中图片主要来自Heron论文和InfoQ上的宣传资料。Storm的问题所在Worker级别Storm在worker设计上的问题应该是最多的。 所有task都一视同仁,无法对单个Task进行资源设置,会造成比较严重的原创 2016-07-18 12:08:21 · 2698 阅读 · 2 评论 -
KafkaStreams介绍(三) –概念
说明:本文是Confluent Platform 3.0版本中对于Kafka Streams的翻译。原文地址:https://docs.confluent.io/3.0.0/streams/index.html看了很多其他人翻译的文档,还是第一次翻译,有什么翻译的不好的地方还请指出。 这是Kafka Streams介绍的第三篇,以前的介绍如下:http://blog.csd翻译 2016-07-26 18:53:00 · 12231 阅读 · 1 评论 -
Storm-Kafka源代码解析
Storm-Kafka源代码解析说明:本文所有代码基于Storm 0.10版本,本文描述内容只涉及KafkaSpout和KafkaBolt相关,不包含trident特性。Kafka SpoutKafkaSpout的构造函数如下:public KafkaSpout(SpoutConfig spoutConf) { _spoutConfig = spoutConf;}其构造参数来自于Spou原创 2016-01-11 15:21:18 · 7693 阅读 · 2 评论 -
PipeLineDB总结
1、基于Postgre数据库, 可以使用数据库库的函数,表达式,存储过程等功能,自身功能就已经足够强大了。而且还支持proxy等分表分库插件。2、所有的流必须以Stream开始,先创建stream然后才可以使用view或者transform来查询。stream中的数据必须通过insert插入。3、view和transform的区别在于,view的计算结果会保存在pg数据库中,transfo原创 2017-11-30 10:41:16 · 5288 阅读 · 3 评论