开源实时流处理系统小结

最新推荐文章于 2023-07-27 11:08:17 发布
最新推荐文章于 2023-07-27 11:08:17 发布
阅读量886 收藏
点赞数
分类专栏： 大数据-流式计算-Storm

网址: http://www.cnblogs.com/panfeng412/archive/2013/02/21/open-source-real-time-stream-processing-systems.html

这里对目前业界开源的一些实时流处理系统做一次小结，作为日后进行技术调研的参考资料。

S4

S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台，它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台，在该平台上程序员可以很方便地开发面向无界不间断流数据处理的应用，开发语言为Java。

项目链接：http://incubator.apache.org/s4/（注：S4 0.5.0已支持TCP链接及状态恢复等特性）

Storm

Storm是Twitter开源的分布式实时计算系统，Storm通过简单的API使开发者可以可靠地处理无界持续的流数据，进行实时计算，开发语言为Clojure和Java，非JVM语言可以通过stdin/stdout以JSON格式协议与Storm进行通信。Storm的应用场景很多：实时分析、在线机器学习、持续计算、分布式RPC、ETL处理，等等。

项目链接：http://storm-project.net

StreamBase

StreamBase是一个关于复杂事件处理（CEP）、事件流处理的平台。其本身是商业应用软件，但提供了Developer Edition，开发语言为Java。

项目链接：http://www.streambase.com

HStreaming

HStreaming构建在Hadoop之上，可以和Hadoop及其生态系统紧密结合起来提供实时流计算服务。这使得HStreaming的用户可以在同一个生态系统中分析处理大数据，开发语言为Java。

项目链接：http://www.hstreaming.com

Esper & NEsper

Esper是专门进行复杂事件处理（CEP）的流处理平台，Java版本为Esper，.Net版本为NEsper。Esper & NEsper可以方便开发者快速开发部署处理大容量消息和事件的应用系统，不论是历史的还是实时的消息。

项目链接：http://esper.codehaus.org

Kafka

Kafka是Linkedin于2010年12月份开源的高吞吐、基于Pub-Sub的分布式消息系统，主要用于处理活跃的流式数据，开发语言为Scala。

项目链接：http://incubator.apache.org/kafka

Scribe

Scribe是Facebook开源的日志收集系统，开发语言为C，通过Thrift可以支持多种常用客户端语言，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。Scribe通常与Hadoop结合使用，Scribe用于向HDFS中push日志，而Hadoop通过MapReduce作业进行定期处理。

项目链接：http://github.com/facebook/scribe

Flume

Flume是Cloudera提供的一个分布式、可靠的、高可用的日志收集系统，用于收集、聚合以及移动大量日志数据，开发语言为Java。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。

项目链接：http://incubator.apache.org/flume

五柳-先生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JBPM4工作流应用开始指南.rar
07-24
9 1.2.1 工作流管理系统参考模型 11 1.2.2 BPM 15 1.3 开源工作流选型 16 1.4 jBPM 19 1.4.1 jBPM前世今生 19 1.4.2 关于jBPM4您需要知道的 19 1.5 小结 23 第2章 安装和配置jBPM4 24 2.1 jBPM4安装先决条件 24 2.2 ...
选型宝每日精选：业界排名Top6的大数据框架
weixin_45368963的博客
11-13 215
原作：Tynej 翻译：way 市场上有许多可用的框架。其中一些相对更受欢迎，例如Spark，Hadoop，Hive和Storm，普雷斯托（Presto）在效用指数上得分很高，而Flink具有巨大的潜力。另外还有一些需要提及的其他内容，例如Samza，Impala，Apache Pig等大数据组件。在这里，我们将讨论其中的一些 一：Apache Hadoop Hadoop是基于Java的平台。这是...
流式大数据处理的三种框架：Storm，Spark和Flink
热门推荐
cm_chenmin的专栏
11-07 3万+
storm、spark streaming、flink都是开源的分布式系统，具有低延迟、可扩展和容错性诸多优点，允许你在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。 Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（
大数据流处理引擎和框架大全
weixin_42731853的博客
05-07 1405
大数据流处理框架，应用程序和其他资源的精选列表。 目录 流处理引擎 流处理库 流处理应用 物联网 DSL（特定领域语言） 数据管道 在线机器学习 流式SQL 工具包 性能基准 闭源软件 流处理引擎 Apache Apex [Java] - 用于大数据流处理和批处理的统一平台。 Apache Ballista [Rust]-Apache Arrow支持的分布式计算平台。 Apache Flink [Java]-用于高吞吐量，低延迟的数据流处理的系统，支持状态计算，数据驱动的窗口语义和迭代流处理。 Apa
大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓
最新发布
Shockang的博客
07-27 7408
面对海量异构数据,如何设计高效可靠的大数据处理架构?本文全方位解析大数据处理的典型架构模式。 想知道兼具低延迟和批处理能力的Lambda架构和Kappa架构有何区别?简单高效的流批一体架构如何实现?灵活的Dataflow数据流模型的原理是什么?实时数仓如何做到毫秒级分析? 本文通过详细的原理分析和业界案例,以八股文体系全面介绍各类大数据处理架构的模式、特点、适用场景,并对不同架构进行横向对比。 无论你是架构设计者,还是大数据开发者,本文都将提供思路清晰的理论指导,以及可落地的技术细节。
Visual C++音频视频处理技术及工程实践地址
12-18
1.6 本章小结 23 第2章 Visual C++ 2005开发基础 25 2.1 Visual C++ 2005新增特性 26 2.1.1 句柄（Handles） 26 2.1.2 类型的声明 26 2.1.3 对代码编辑的改进 27 2.2 VC能做的事情 27 2.2.1 生成传统的控制台...
Visual C++音频视频处理技术及工程实践(含源码2/2)
11-19
1.6 本章小结 23 第2章 Visual C++ 2005开发基础 25 2.1 Visual C++ 2005新增特性 26 2.1.1 句柄（Handles） 26 2.1.2 类型的声明 26 2.1.3 对代码编辑的改进 27 2.2 VC能做的事情 27 2.2.1 生成传统的控制台...
Visual C++音频/视频处理技术及工程实践 (分卷1)
03-08
1.6 本章小结 23 第2章 Visual C++ 2005开发基础 25 2.1 Visual C++ 2005新增特性 26 2.1.1 句柄（Handles） 26 2.1.2 类型的声明 26 2.1.3 对代码编辑的改进 27 2.2 VC能做的事情 27 2.2.1 生成传统的控制台应用...
Yahoo!S4分布式流处理引擎分析总结
changtao381的专栏
03-27 1277
S4(Simple Scalable Streaming System)是一个分布式流处理引擎，开发者可以在这个引擎基础上开发面向无界的，不间断的流数据处理应用。 什么是流数据处理应用？例如，为了个性化搜索广告，系统需要实时处理来自几百万唯一用户每秒成千上万次的查询，并即时分析用户的会话特征来提高广告相关性 预测模型的准确度。流数据处理应用要求我们的系统可以接受大量的，不间断的数据（称为流式数据
【大数据处理框架】Spark大数据处理框架，包括其底层原理、架构、编程模型、生态圈
Java程序员廖志伟
07-07 2043
首先使用filter方法过滤出销售日期为指定日期的销售数据，然后使用groupBy方法按照商品名称进行分组，使用agg方法计算每个商品的销售总额，使用orderBy方法按照销售总额进行降序排序，最后使用limit方法限制返回结果的数量，并使用select方法指定需要返回的字段。举个例子，假设一个公司要分析其网站的日志数据，可以使用Spark作为数据处理框架，将日志数据存储在Hadoop HDFS上，然后使用Hive作为数据仓库工具，查询和分析数据。通过计算三角形的数量，可以评估社交网络的紧密度和稳定性。
实时大数据处理real-time big data processing (RTDP)框架：挑战与解决方案
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
08-07 2346
**⼤数据与实时⼤数据的区别与挑战**： 实时⼤数据除了具备⼤数据的所有特点外，还有⾃⼰的特点。与⼤数据相⽐，在数据集成⽅⾯，实时⼤数据在数据采集设备、数据分析⼯具、数据安全等⽅⾯有着更⾼的要求。 下⾯从数据收集、数据分析、数据安全、数据管理和对标等⽅⾯进行分析。...
大数据之实时流处理常用框架
鸡丶哥的博客
05-07 2万+
        实时流处理简单概述：实时是说整个流处理相应时间较短，流式技算是说数据是源源不断的，没有尽头的。实时流处理一般是将业务系统产生的数据进行实时收集，交由流处理框架进行数据清洗，统计，入库，并可以通过可视化的方式对统计结果进行实时的展示。本文涉及到的框架或技术有 Flume,Logstash，kafka,Storm, SparkStreaming等。      实时流处理的的流程与技术...
S4分布式流计算引擎
agapple
06-20 362
背景   最近花了点时间研究了下分布式计算这一块的内容。领导给的第一个任务，就是学习下S4和GridGain。花了几天的时间把s4的源码看了下，把自己的理解和学习的内容做一个记录。 下一篇会是GridGain的分享 学习 s4的论文： S4: Distributed Stream Computing Platform s4的官网： http://s4.io/ s4是什么？ 1....
分布式流式计算平台——S4
Cloud-Datacenter-Renewable Energy-Big Data-Model
03-28 1308
<br /><br />文 / 马如悦<br />本文是作者在充分阅读和理解Yahoo！最新发布的技术论文《S4:Distributed Stream Computing Platform》的基础上，所做出的知识分享。<br />S4是Yahoo!在2010年10月开源的一套通用、分布式、可扩展、部分容错、具备可插拔功能的平台。这套平台主要是为了方便开发者开发处理流式数据（continuous unbounded streams of data）的应用。项目官方网站为：http://s4.io/。同时，S4
Yahoo! S4：分布式流计算平台
Detective_Xin的专栏
03-14 7978
一、概述 S4（Simple Scalable Streaming System）最初是Yahoo!为提高搜索广告有效点击率的问题而开发的一个平台，通过统计分析用户对广告的点击率，排除相关度低的广告，提升点击率。目前该项目刚启动不久，所以也可以理解为是他们提出的一个分布式流计算（Distributed Stream Computing）的模型。 S4的设计目标是： ·提供一种简单的编
Thinking in BigData（六）大数据技术核心之ETL
yczws1的专栏
02-10 2万+
接下来的四篇文章，抛开大数据的概念与基本知识，进入核心。我们从：数据采集、数据存储、数据管理、数据分析与挖掘，四个方面讨论大数据在实际应用中涉及的技术与知识点。 核心技术：架构挑战、分析技术、存储、解决方案、大数据与云计算、大数据平台架构、大数据技术之数据采集ETL； 在这里涉及到ETL中，我们只要有一个清晰的认识，它不是想象中的简单一蹴而就，在实际的过程，你可以会遇到各种各样的问题，甚至是沟通的问题。在给它定义到占据整个数据挖掘或分析的过程中50%-70%是不足为过的。后期项目涉及ETL过程，会
史上最全“大数据”学习资源整理
william的博客
05-13 929
　当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。 　　为了帮助大家更好深入...
四代大数据计算引擎
allensandy的博客
02-21 655
参考：https://www.cnblogs.com/frankdeng/p/9400622.html 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，他们都有着各自专注的应用场景。Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flin...
Laravel 框架实训小结2000字
06-10
Laravel 是一个基于 PHP 语言的开源 Web 应用程序框架，它使用 MVC（模型-视图-控制器）架构模式，具有简单、优雅、快速开发的特点。在实训中，我们通过学习 Laravel 框架，深入理解了 MVC 模式，了解了路由、控制器、模型、视图、中间件等 Laravel 框架的核心概念和使用方法。下面我将对实训内容进行总结。 一、Laravel 环境搭建 在实训开始时，我们首先需要搭建 Laravel 开发环境。搭建 Laravel 环境需要安装 PHP、Composer、Nginx 或 Apache 等软件，其中 Composer 是 Laravel 框架的依赖管理工具，可以方便地安装 Laravel 框架和相关扩展包。在搭建 Laravel 环境时，我们还需要配置虚拟主机、数据库等内容。在实训中，我们使用了 Docker 来搭建 Laravel 开发环境，这样可以方便地快速部署环境，避免了环境配置的繁琐。 二、Laravel 基础知识 1. 路由 在 Laravel 中，路由是指将 URL 请求映射到相应的控制器方法上。在 Laravel 中定义路由非常方便，只需要在 routes/web.php 文件中定义即可。在定义路由时，我们可以使用 GET、POST、PUT、DELETE 等 HTTP 方法，并且可以使用参数、中间件等功能。 2. 控制器 控制器是 Laravel 中处理请求的核心部分，它负责接收请求、处理业务逻辑、调用模型、返回响应等。在 Laravel 中，控制器可以使用 Artisan 命令快速生成，生成的控制器包含了基本的 CRUD 操作。 3. 模型 模型是 Laravel 中与数据库交互的部分，它负责查询、插入、更新、删除数据等操作。在 Laravel 中，模型可以使用 Artisan 命令快速生成，并且可以使用 Eloquent ORM（对象关系映射）来操作数据库。 4. 视图 视图是 Laravel 中负责渲染页面的部分，它可以使用 Blade 模板引擎来编写。在 Blade 模板中，我们可以使用变量、控制流语句、循环语句等功能，方便地构建页面。 5. 中间件 中间件是 Laravel 中用于处理请求的过滤器，它可以在请求到达控制器之前或者之后进行一些处理。在 Laravel 中，我们可以使用 Artisan 命令快速生成中间件，并且可以给中间件命名、设置中间件组等。 三、Laravel 扩展包 除了 Laravel 框架本身提供的功能之外，还有很多第三方扩展包可以用于扩展 Laravel 的功能。在实训中，我们学习了一些常用的 Laravel 扩展包。 1. Laravel Debugbar Laravel Debugbar 是一个用于调试 Laravel 应用程序的扩展包，它可以方便地查看应用程序的请求、响应、SQL 查询等信息，帮助我们快速定位问题。 2. Laravel-Excel Laravel-Excel 是一个用于导入和导出 Excel 文件的扩展包，它可以方便地将数据导出为 Excel 文件，并且可以将 Excel 文件导入到数据库中。 3. Laravel Telescope Laravel Telescope 是一个用于监控 Laravel 应用程序的扩展包，它可以方便地查看应用程序的请求、响应、SQL 查询等信息，帮助我们快速定位问题。与 Laravel Debugbar 不同的是，Laravel Telescope 可以将监控数据保存到数据库中，方便长期监控。 四、Laravel 实战项目 在实训的最后，我们完成了一个实战项目：一个简单的博客系统。在博客系统中，我们实现了用户注册、登录、退出、文章发布等功能，并且使用了 Laravel 的认证、授权、邮件等功能。在实现博客系统的过程中，我们深入理解了 Laravel 的各种功能，并且掌握了如何将这些功能应用到实际项目中。 总结 通过本次实训，我深入了解了 Laravel 框架的使用方法和开发流程，掌握了如何使用 Laravel 实现 Web 应用程序的各种功能。在实训中，我们不仅学习了 Laravel 框架本身的知识，还学习了如何使用 Docker 搭建开发环境、如何使用 Git 进行版本控制、如何使用 GitHub 进行协作开发等技术。这些知识对于我今后的开发工作和学习都有很大的帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值