冰河的专栏

持之以恒,贵在坚持,每天进步一点点。。。

Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(案例测试篇)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79441120一、概述本文是建立在博文《Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(环境搭建篇)》和《Storm之——Stor...

2018-03-05 00:02:17

阅读数:625

评论数:0

Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(程序案例篇)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79441007一、前言本博文是基于《Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(环境搭建篇)》,请先阅读《Storm之——St...

2018-03-04 23:44:59

阅读数:16379

评论数:17

Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(环境搭建篇)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79440511一、服务器配置Storm:apache-storm-1.1.1.tar.gz下载地址为:https://archive.apache.org/dist/storm/ap...

2018-03-04 23:05:29

阅读数:1614

评论数:1

Storm之——LocalCluster提交storm KafkaSpout重复消费

问题描述:通过LocalCluster提交storm KafkaSpout的应用,每次重新提交应用时,消息都会重复消费,而且在zookeeper中不能创建存储节点.日志中一直出现KeeperErrorCode = NoNode for 节点path.从网上查看:1. 大多都是bolt需要继承Bas...

2018-02-26 19:22:42

阅读数:1205

评论数:0

Storm-Kafka之——Storm集成Kafka时遇见的问题

一、KafkaSpout 引起的 log4j 的问题问题描述:SLF4J: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError. SLF...

2018-02-25 00:18:36

阅读数:897

评论数:0

Flume之——Flume读取日志数据写入Kafka

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79366155一、Flume配置flume要求1.6以上版本flume-conf.properties文件配置内容,sinks的输出作为kafka的producta1.sources...

2018-02-24 23:39:19

阅读数:2269

评论数:0

Kafka之——在CentOS上安装Kafka集群

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79315878安装准备版本Kafka版本:kafka_2.11-0.9.0.0Zookeeper版本:zookeeper-3.4.9Zookeeper 集群:liuyazhuang1...

2018-02-12 12:18:34

阅读数:233

评论数:0

Kafka之——Kafka配置文件server.properties(三个版本)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79194929 前言 其实每个版本都有些许改动,只不过改动大小而已,但是网上的教程都真的太老了,其实更新一下也费不了多少时间  0.9.0 # Licensed to t...

2018-01-29 14:27:56

阅读数:1982

评论数:0

Kafka之——replication factor: 1 larger than available brokers: 0 问题解决方案

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79194106 一、问题 用kfafka命令:./kafka-server-start.sh ../config/server.properties &启动时报以...

2018-01-29 13:13:39

阅读数:2326

评论数:0

Kafka之——扩展logback将日志输出到Kafka实例扩展

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79136841 一、概述 本文基于《Kafka之——扩展logback将日志输出到Kafka实例》,请先阅读《Kafka之——扩展logback将日志输出到Kafka实例》。...

2018-01-23 10:42:08

阅读数:1554

评论数:0

Kafka之——扩展logback将日志输出到Kafka实例

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79135948 一、Kafka的安装 请参见博文《Kafka之——安装并(单节点)配置启动Kafka》、《Kafka之——单机多broker实例集群搭建》、《Kafka之——...

2018-01-23 09:41:31

阅读数:3742

评论数:1

Kafka之——kafka Failed to send messages after 3 tries 问题解决

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79134255 远程连接Kafka发送消息的时候出现如下错误 kafka Failed to send messages after 3 tries解决这个问题很简单,只...

2018-01-22 22:11:42

阅读数:180

评论数:0

Storm之——Storm整合Kafka pom.xml

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79134236 主要依赖如下: org.apache.storm storm-core 0.9.2-incub...

2018-01-22 22:06:17

阅读数:838

评论数:0

Storm之——Storm整合kafka:java.lang.NoClassDefFoundError: com/google/common/base/Strings

java.lang.NoClassDefFoundError: com/google/common/base/Strings 造成该错误的原因是没有加入guava的dependency,guava.jar封装了com.google.common.base.Strings.class 因此我们只需在...

2017-11-05 14:45:13

阅读数:1425

评论数:0

Storm之——Kafka+Storm+HDFS整合实战

一、系统规划 在基于Hadoop平台的很多应用场景中,我们需要对数据进行离线和实时分析,离线分析可以很容易地借助于Hive来实现统计分析,但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm,它是一个实时处理系统,它为实时处理类应用提供了一个计算模型,可以很容易地进行编程处理。...

2017-11-05 14:39:36

阅读数:1369

评论数:0

Kafka之——简单客户端编程

今天,我们给大家带来一篇如何利用Kafka的API进行客户端编程的文章,这篇文章很简单,就是利用Kafka的API创建一个生产者和消费者,生产者不断向Kafka写入消息,消费者则不断消费Kafka的消息。下面是具体的实例代码。 一、创建配置类Config 这个类很简单,只是存放了两个常量,一个是话...

2017-10-29 11:13:57

阅读数:477

评论数:0

Kafka之——集群搭建

一、Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。 1、软件环境 (3台服务器-我的测试) 192.168.7.100 server1 192.168.7.101 server2 192.168.7.107 server3 1-...

2017-10-28 13:00:26

阅读数:924

评论数:0

Kafka之——单机多broker实例集群搭建

今天,就带着大家一起来实现Kafka集群的搭建,我们直接进入主题吧。 Kafka支持两种模式的集群搭建:可以在单机上运行多个broker实例来实现集群,也可在多台机器上搭建集群,这篇博文就给大家介绍下如何实现单机多broker实例集群,其实很简单,只需要如下配置即可。 在博文《Kafka之——安装...

2017-10-28 12:46:28

阅读数:2560

评论数:0

Kafka之——安装并(单节点)配置启动Kafka

1. 下载Kafka 从Kafka官网下载最新的Kafka,目前我下载的版本为kafka_2.10-0.8.1.1.tgz 2、解压Kafka tar -zxvf kafka_2.10-0.8.1.1.tgz 3. 修改Zookeeper服务器配置,并启动 cd kafka_2.10-0.8.1...

2017-10-26 00:07:28

阅读数:2320

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭