![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm
命运的左岸
日拱一卒,功不唐捐
展开
-
随笔记录
读取Kafka中的数据失败, private transient KafkaStream kafkaStream ; 原因在于 transient 关键字,不适用序列化,而kafka数据的传输即通过序列化实现(暂时这样理解) 去掉这个关键字 ,程序正常 写入到kafka的数据将写到磁盘(写入时需要序列化) kafka topic 与 group 两个消...原创 2017-03-23 22:39:22 · 106 阅读 · 0 评论 -
二、服务部署
系统:Ubuntu备注:编辑文件命令vim 文件名称i 表示当前状态为插入状态输入完成后,按ESC 键,退出当前编辑模式: 进入文件操作命令wq 保存并离开一、检查主机名称及IP地址命令hostname命令ipconfig二、修改主机名命令vim /etc/hostname修改为master...原创 2017-03-26 00:03:27 · 116 阅读 · 0 评论 -
一、基础概念
1.Storm的总体结构Storm中设计的术语包括 Stream、Spout、Bolt、Worker、Executor、Task、Stream Grouping 、Topology,基本概念如下:[list][*]Stream是被处理的数据[*]Spout是数据源[*]Bolt封装了数据处理逻辑[*]Worker是工作进程。一个工作进程包含一个或多个Executor线程...原创 2017-01-03 21:30:12 · 94 阅读 · 0 评论 -
storm-wordCount
[align=center][size=large]单词统计[/size][/align]一、拓扑结构1.数据来源2.单词拆分3.单词计数4.统计结果5.拓扑构建二、代码实现1.单词来源[code="java"]package com.study.storm.test.wordcount;import java.uti...原创 2017-08-05 20:14:24 · 76 阅读 · 0 评论 -
Storm-安装
[align=center][size=large]Storm安装[/size][/align]一、Storm 安装配置1.安装 JDK2.安装 Zookeeper 3.安装 Stormtar -zxvf apache-storm.tar.gz cd apache-storm 进入解压后的目录mkdir tmp 建立程序运行的数据存储位置...原创 2017-08-06 11:39:50 · 133 阅读 · 0 评论 -
Storm - Trident
[align=center][size=large]Trident[/size][/align]一、Storm 保证性1.数据一定会发送通过 ack / fail 方法确认,若失败,则提供重新发送的机制2.数据一定只会统计一次数据发送后有一个唯一性的标识,通过判断此标识,若存在,则不处理3.数据一定会按照顺序进行处理数据发送后有一个唯一性的标识,按照标识...原创 2017-08-06 17:36:54 · 142 阅读 · 0 评论