疾风知劲草，智者必怀仁

Storm学习笔记总结 Storm概述 离线计算是什么 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据 流式计算是什么 流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示 代表技术：Flume实时获取数据、Kafka实时数据存储、St...

Storm基础理论 Storm编程模型 元组（Tuple） 元组（Tuple），是消息传递的基本单元，是一个命名的值列表，元组中的字段可以是任何类型的对象。Storm使用元组作为其数据模型，元组支持所有的基本类型、字符串和字节数组作为字段值，只要实现类型的序列化接口就可以使用该类型的对象。元组本来应该是一个key-value的Map，但是由于各个组件间传递的元组的字段名称已经事先定义...

Storm集群搭建 环境准备 jar包下载 安装集群步骤：http://storm.apache.org/releases/1.1.2/Setting-up-a-Storm-cluster.html 虚拟机准备 准备3台虚拟机 配置ip地址 1.在终端命令窗口中输入 [root@hadoop101 /]#vim /etc/udev/rules.d/70-persistent...

常用API API简介 Component组件 基本接口 IComponent接口 ISpout接口 IRichSpout接口 IStateSpout接口 IRichStateSpout接口 IBolt接口 IRichBolt接口 IBasicBolt接口 基本抽象类 BaseComponent抽象类 BaseRichSpout抽象类 BaseRichBolt抽象类 Base...

分组策略和并发度 读取文件路径和方法 spout数据源：数据库、文件、MQ（比如：Kafka） 数据源是数据库：只适合读取数据库的配置文件 数据源是文件：只适合测试、讲课用（因为集群是分布式集群） 企业产生的log文件处理步骤：（1）读出内容写入MQ（2）Storm再处理 分组策略（Stream Grouping） stream grouping用来定义一个stream应该如何...

Storm学习笔记总结 Storm概述 离线计算是什么 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据 流式计算是什么 流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示 代表技术：Flume实时获取数据、Kafka实时数据存储、St...