![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
storm
文章平均质量分 90
storm
伊布拉西莫
思想上的强者,行动上的弱者。
展开
-
Storm参数配置及代码优化【转载】
http://fangchao.me/2017/07/05/understanding-of-storm-config-and-code-optimization.html背景本人在维护一套由storm、kafka、zookeeper组成的分布式实时计算系统。当数据量很小的时候,系统处理起来其实是绰绰有余的,基本上按照系统默认配置来就可以了。然而当数据量增长到一定规模的时候,系统的各个配置都对整个系统的性能有着至关重要的影响。在不断的处理现网问题、研究的过程中,对系统的一些关键配置有一些心得。在这里.原创 2021-01-25 14:37:15 · 421 阅读 · 0 评论 -
storm-KafkaSpout接入Kerberous认证的kafka--排坑记
Installing Kerberos on Redhat 7Linux下搭建zookeeper+kafka+kerberos(基于centos7)Kerberos常用命令总结服务器规划s160:安装kerberos服务kerberos服务安装0.下载jce的jar包下载地址:orcle-jce-8.jars将zip解压,并将两个jar放置到%JAVA_HOME%/jre/...原创 2019-01-12 20:49:28 · 1707 阅读 · 1 评论 -
Storm UI & Logs
针对storm 1.1.3 版本 ,使用KafkaSpoutConfig作为spout 解析StormUI.主页面Cluster Summary集群摘要信息。VersionSupervisorsslots UsedFree slotsTotal slotsExecutorsTasks1.1.3366122222Version :stormU...原创 2018-10-30 14:17:18 · 2917 阅读 · 0 评论 -
Storm-Trident API
Trident是基于Storm进行实时流处理的高级抽象,提供了对实时流的聚集、投影、过滤等操作,从而大大简化开发Storm任务的工作量。原创 2018-10-09 14:16:46 · 415 阅读 · 0 评论 -
Storm-Trident实践
apachecn/storm-doc-zh本文主要是将之前学习的Trident做一个总结,由于Trident的资料相对较少,排坑过程中相对艰难(也可能是我打开的方式不对orz),本文主要将Trident API的各种实现给罗列了一下,主要分为如下几个部分:概述: 讲述需求Trident实现WordCountRedisState实践Trident DRPC 实践TridentKaf...原创 2018-10-15 19:02:50 · 492 阅读 · 0 评论 -
Storm-Trident State
《从零开始学Storm》apachecn/storm-doc-zh原创 2018-10-15 16:07:45 · 309 阅读 · 0 评论 -
storm学习笔记-事务拓扑
《Storm实战构建大数据实时计算》《从零开始学Storm》 学习笔记一致性事务storm是一个分布式流处理系统,利用anchor和ack机制保证了所有tuple都被成功处理。如果出错了,则可以被重传,但是如何保证出错的tuple只被处理一次呢?Storm提供了一套事务性组件Transactional Topology,来解决这个问题。...原创 2018-09-26 22:44:37 · 361 阅读 · 0 评论 -
storm学习笔记
Getting Started with Stormstorm入门 学习笔记。入门public void start() throws InvalidTopologyException, AuthorizationException, AlreadyAliveException { String topologyName = "scada&原创 2018-09-20 19:26:17 · 212 阅读 · 0 评论 -
Storm-drpc
Getting Started with Stormstorm实战构建大数据实时计算DRPC拓扑分布式远程过程调用(DRPC),它利用Storm的分布式特性执行远程过程调用(RPC)。对每一次函数调用,Storm集群上运行的拓扑接收调用方法名称和参数作为输入流,经过一系列的计算,最终将计算结果作为输出流返回发射出去。LinearDRPCTopologyBuilderLinearDR...原创 2018-09-25 21:54:17 · 427 阅读 · 0 评论 -
storm-kafka-redis-jdbc学习
通过一个简单的业务拓扑,将storm与kafka,redis,oracle的集成。Topology说明:spout: 从kafka读取消息 bolt_1: 检验消息格式 bolt_2: 从redis读取类型 匹配,将匹配未通过的消息,写入redis bolt_3: 读取oracle读取指标值, 当超过指标值时,将消息写入oralce , 以及写入kafka.Topology示意图...原创 2018-09-16 15:23:58 · 356 阅读 · 0 评论 -
初识Storm
从零开始学Storm apache_storm_tutorialStorm简介什么是Storm Storm是一个免费开源的分布式实时计算系统,主要使用Clojure与Java语言编写。 Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。Apache Storm vs Hadoop 基本上Storm和Hadoop都是用于分析...原创 2018-08-28 21:44:50 · 198 阅读 · 0 评论