灿哥哥的博客

专注技术,热爱分享

kafka之为topic增加partition

操作指令如下:将topic gome中的partition增加到10个 bin/kafka-topics.sh --alter --zookeeper 10.112.179.12:2181 --partitions 10 --topic gome具体参数的含义可以通过执行bin/kafka-to...

2018-04-12 15:25:40

阅读数 3258

评论数 0

如何通过外部电脑访问kafka服务器

在kafka的编译和使用中说明了kafka环境的搭建和本机自测。 但是如果在外部电脑上启动生产者和消费者,并不能进行消息的发布和订阅,会报解析服务器hostname失败的错误。 解决的方法有两个: 1.将服务器的IP和计算机名信息添加到外部电脑的/etc/hosts文件,添加方法参考: h...

2018-04-11 20:01:34

阅读数 3299

评论数 3

kafka启动时报错:java.net.UnknownHostException: Name or service not known

今天在用下面的指令启动kafa的时候报错了: # bin/kafka-server-start.sh config/server.properties & 错误信息如下: [2018-04-11 16:27:31,185] ERROR [KafkaServer id=0] Fatal er...

2018-04-11 17:09:55

阅读数 6483

评论数 0

Kafka设计解析(一)- Kafka背景及架构介绍

本文转发自技术世界,原文链接 http://www.jasongj.com/2015/03/10/KafkaColumn1摘要  Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache...

2018-04-03 08:44:06

阅读数 163

评论数 0

使用librdkafka的C++接口实现简单的生产者和消费者

一.编译librdkafka 环境:Fedora 20,32位 依赖:pthreads(必选),zlib(可选),libssl-dev(可选),libsasl2-dev(可选) 先查看自己的linux上是否安装了pthreads,指令如下: # locate libpthread 因为我之前安...

2018-04-02 10:55:17

阅读数 5233

评论数 1

kafka的编译和使用

一.kafka的使用 kafka官网提供了编译好的二进制包,下载即用http://kafka.apache.org/downloads。最新版本的是1.1.0 Kafka是使用scala编写的运行于jvm虚拟机上的程序,虽然也可以在windows上使用,但基本上是运行在linux服务器上,因此我们...

2018-03-29 16:44:49

阅读数 2963

评论数 0

kafka入门指南

kafka是一个分布式的流式平台,它到底是什么意思?流式平台有以下三个主要的功能:☆发布和订阅流记录,类似消息队列或企业级的消息系统。☆你以一种容错的方式存储流记录。☆当流记录产生时及时处理。kafka被用于两大类别的应用程序:☆建立实时的流式数据通道,这个通道能可靠的获取到在系统或应用间的数据☆...

2018-03-28 20:33:12

阅读数 190

评论数 0

提示
确定要删除当前文章?
取消 删除