最后的武艺集大成者

如果对流式计算概念，核心组件，编程模型不熟悉可以参考流式计算--storm1(storm概念初识)1.环境： 机器配置：centos7 jdk8 storm 1.0 .6 zookeeper 3.4.13 1. 安装CentOS7注意：安装CentOs7,配置NAT网络，但是还没有网，没有IP地址 所以修改/etc/sysconfig...

1.Storm是什么？     Storm用来实时处理数据，特点：低延迟、高可用、分布式、可扩展、数据不丢失。提供简单容易理解的接口，便于开发。2.Storm与Hadoop的区别？Storm用于实时计算，Hadoop用于离线计算。 Storm处理的数据保存在内存中，源源不断；Hadoop处理的数据保存在文件系统中，一批一批。 Storm的数据通过网络传输进来；Hadoop的数据保存...

    功能说明:设计一个topology，来实现对文档里面的单词出现的频率进行统计。本篇博客是在storm概念讲解和storm集群搭建的基础上来的  1.创建一个maven项目：        添加以来如下：  <dependency> <groupId>org.apache.storm</groupId> ...

1、Kafka是什么        在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。KAFKA + STORM +REDISKafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。Kafka由Scala写成。 Kafka对消息保存时根据Topic进行归类，发送消息者称为...

  本篇博客基于kafka集群搭建，在此基础上操作  1.新建maven工程添加依赖：      <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> ...

本篇博客基于之前搭建的kafka集群和storm集群1.数据流向     日志系统=>flume=>kafka=>storm 2.安装flume      1.我们在storm01上安装flume1.6.0,上传安装包       2.解压到  /export/servers/flume，首先创建文件夹flume         命令：  sudo tar...

1.日志监控系统         数据的流向：flume+kafka+storm+mysql    数据流程如下： 应用程序使用log4j产生日志 部署flume客户端监控应用程序产生的日志信息，并发送到kafka集群中 storm spout拉去kafka的数据进行消费，逐条过滤每条日志的进行规则判断，对符合规则的日志进行邮件告警。 最后将告警的信息保存到mysql数...