刘亚壮的专栏

持之以恒,贵在坚持,每天进步一点点。。。

Storm之——IPartitionedTransactionalSpout和IOpaquePartitionedTransactionalSpout(基于Storm0.9.x)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79464980IPartitionedTransactionalSpout和IOpaquePartitionedTransactionalSpout都是把tuple封装成batch进...

2018-03-06 22:49:04

阅读数:169

评论数:0

Storm之——事务主要API(基于Storm0.9.x)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79464949SpoutITransactionalSpout<T>,同BaseTransactionalSpout&lt...

2018-03-06 22:45:36

阅读数:220

评论数:0

Storm之——批处理事务原理(基于Storm0.9.x)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79464703事务-批处理对于容错机制,Storm通过一个系统级别的组件acker,结合xor校验机制判断一个tuple是否发送成功,进而spout可以重发该tuple ,保证一个t...

2018-03-06 22:30:20

阅读数:291

评论数:0

Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(案例测试篇)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79441120一、概述本文是建立在博文《Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(环境搭建篇)》和《Storm之——Stor...

2018-03-05 00:02:17

阅读数:495

评论数:0

Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(程序案例篇)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79441007一、前言本博文是基于《Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(环境搭建篇)》,请先阅读《Storm之——St...

2018-03-04 23:44:59

阅读数:12316

评论数:6

Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(环境搭建篇)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79440511一、服务器配置Storm:apache-storm-1.1.1.tar.gz下载地址为:https://archive.apache.org/dist/storm/ap...

2018-03-04 23:05:29

阅读数:1223

评论数:0

Storm之——常用的集群操作命令

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79432204假设集群有100个节点,主机名分别为node1、node2、node3...node100。对于node1节点ssh到其他节点,已经实现了SSH无密码访问。1、关闭集群...

2018-03-03 19:09:16

阅读数:261

评论数:0

Storm之——使用monit监控Storm

一、安装。首先去monit官方下载最新的monit版本,老的版本可能不支持官网地址是http://mmonit.com/monit/ yum源没有配的话用rpm安装。yum –y install pam-devel tar -zxf monit-5.12.tar.gz -C /tmp/ cd /...

2018-03-03 14:28:10

阅读数:182

评论数:0

Storm之——使用daemontools监控Storm进程

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79429717daemontools官网地址是:http://cr.yp.to/daemontools.html一、安装daemontoolswget http://cr.yp.to...

2018-03-03 13:21:44

阅读数:223

评论数:0

Storm之——如何提交拓扑或Jar包到集群

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79408361在Storm的开发环境下,提交拓扑到集群,主要步骤如下:1、下载Storm发行版解压,设置Storm环境变量下载Storm的一个稳定发行版本并解压缩,解压后的目录即为S...

2018-03-01 09:49:32

阅读数:961

评论数:0

Storm之——LocalCluster提交storm KafkaSpout重复消费

问题描述:通过LocalCluster提交storm KafkaSpout的应用,每次重新提交应用时,消息都会重复消费,而且在zookeeper中不能创建存储节点.日志中一直出现KeeperErrorCode = NoNode for 节点path.从网上查看:1. 大多都是bolt需要继承Bas...

2018-02-26 19:22:42

阅读数:1099

评论数:0

Storm之——stream grouping简介

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79371876stream grouping就是用来定义一个stream应该如果分配给Bolts上面的多个Tasks。storm里面有6种类型的stream grouping:1. ...

2018-02-25 21:47:59

阅读数:163

评论数:0

Storm-Kafka之——Storm集成Kafka时遇见的问题

一、KafkaSpout 引起的 log4j 的问题问题描述:SLF4J: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError. SLF...

2018-02-25 00:18:36

阅读数:748

评论数:0

Storm之——Storm on Yarn 部署

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79172573 1. 环境介绍 一、节点与服务映射关系 ip host 服务 192.168.209.121 master Nam...

2018-01-26 15:59:22

阅读数:157

评论数:0

Storm之——实现井字棋游戏(人工智能)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79149418 一、下载源码 不多说,大家直接到链接http://download.csdn.net/download/l1028386804/10221555下载源码进...

2018-01-24 12:38:45

阅读数:247

评论数:0

Storm之——Storm整合Kafka pom.xml

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79134236 主要依赖如下: org.apache.storm storm-core 0.9.2-incub...

2018-01-22 22:06:17

阅读数:679

评论数:0

Storm之——利用Trident topology实现预测疾病暴发

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79120204 今天,我们一起来实现一个Trident topology收集医学诊断报告来判断是否有疾病暴发的实例。今天,我们和以往的实例有所不同,今天,我们要贯穿整篇文章来实...

2018-01-21 14:55:38

阅读数:433

评论数:0

Storm之——自动化集群配置工具Puppet的类和模块

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79113359 使用独立的Puppet mainfest文件很容易定义资源的声明,但这种实现方法在需要管理的资源增多时变得越来越不方面。其实,Puppet有类和模块的概念,可以...

2018-01-20 12:21:28

阅读数:178

评论数:0

Storm之——自动化集群配置工具Puppet

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79113187 Puppet(https://puppet.com/)是一个IT自动化框架,用来帮助管理员管理大规模的网络设施资源,使用灵活的、声明式的实现方式来进行IT自动化...

2018-01-20 12:08:39

阅读数:234

评论数:0

Storm之——Storm整合kafka:java.lang.NoClassDefFoundError: com/google/common/base/Strings

java.lang.NoClassDefFoundError: com/google/common/base/Strings 造成该错误的原因是没有加入guava的dependency,guava.jar封装了com.google.common.base.Strings.class 因此我们只需在...

2017-11-05 14:45:13

阅读数:1328

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭