Kafka
gmHappy
从不敢夜郎自大,但也不至于妄自菲薄,只是想做一个靠本事吃饭的手艺人
展开
-
解决通过Docker部署Kafka时出现的Connection to node xxx could not be established. Broker may not be available问题
一、问题描述利用docker搭建kafka服务。1.1 搜索可用镜像[root@node02 ~]# docker search kafkaNAME DESCRIPTION STARS OFFICIAL AUTOMATEDwurstmeister/kafka Multi-Broker Apache Kaf原创 2021-09-17 17:16:45 · 1489 阅读 · 0 评论 -
CentOS7搭建Flume与Kafka整合及基础操作与测试
前提已完成Kafka的搭建,具体步骤参照CentOS7搭建Kafka单机环境及基础操作Flume安装下载wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz解压tar -zxvf apache-flume-1.6.0-bin.tar.gz移动文件夹mv apache-flu...原创 2018-04-26 10:29:31 · 3307 阅读 · 0 评论 -
Storm消费Kafka值得注意的坑
问题描述: kafka是之前早就搭建好的,新建的storm集群要消费kafka的主题,由于kafka中已经记录了很多消息,storm消费时从最开始消费问题解决: 下面是摘自官网的一段话:How KafkaSpout stores offsets of a Kafka topic and recovers in case of failuresAs shown in the above Kafk...翻译 2018-04-25 17:01:25 · 7578 阅读 · 6 评论 -
CentOS7搭建Kafka单机环境及基础操作
前提安装Kafka前需要先安装zookeeper集群,集体安装方法请参照我的另一篇文档。Kafka安装下载wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz 解压tar -zxvf kafka_2.8.0-0.8.0.tar.gz移动文件夹mv kafka_2.8.0-0.8.0 /usr/local/...原创 2018-04-25 17:25:27 · 8912 阅读 · 4 评论 -
Spark集成Kafka实时流计算Java案例
package com.test;import java.util.*;import org.apache.spark.SparkConf;import org.apache.spark.TaskContext;import org.apache.spark.api.java.*;import org.apache.spark.api.java.function.*;import o...原创 2018-05-03 16:39:15 · 4219 阅读 · 0 评论 -
总结可用的大数据分析软件对应版本
apache-flume-1.8.0-bin、kafka_2.11-0.10.0.0、spark-2.0.0-bin-hadoop2.7hadoop-2.8.0、hbase-1.2.6、apache-hive-2.1.1-bin、zookeeper-3.4.10、sqoop-1.4.7.bin__hadoop-2.6.0apache-storm-1.1.0未完待续......原创 2018-05-04 11:19:40 · 2944 阅读 · 0 评论 -
Sprak2.0 Streaming消费Kafka数据实时计算及运算结果保存数据库代码示例
package com.gm.hive.SparkHive;import java.util.Arrays;import java.util.Collection;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import org.ap...原创 2018-05-07 14:42:07 · 2965 阅读 · 0 评论