flume+kafka

原创 2015年11月17日 21:33:27

Flume启动命令:

$bin/flume-ng agent --conf conf--conf-file conf/flume-conf.properties --name producer-Dflume.root.logger=INFO,console

bin/flume-ng agent --conf ./conf/ -f conf/flume-kafka.conf -Dflume.root.logger=DEBUG,console -n agent1

bin/flume-ng avro-client --conf conf -H localhost -p 44444 -F /root/zyx/test.txt -Dflume.root.logger=DEBUG,console

zkService.sh start
bin/kafka-server-start.sh config/server.properties


启动及测试命令:

1 start server

> bin/zookeeper-server-start.shconfig/zookeeper.properties

> bin/kafka-server-start.sh config/server.properties

2Create a topic
> bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1--partition 1 --topic test

> bin/kafka-list-topic.sh --zookeeperlocalhost:2181

3Send some messages

> bin/kafka-console-producer.sh--broker-list localhost:9092 --topic test

4Start a consumer

> bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic test --from-beginning

版权声明:互相学习

相关文章推荐

flume+kafka+storm

  • 2015年11月07日 09:10
  • 1.88MB
  • 下载

Flume对接Kafka的实例

Kafka组件特点   kafka实际上是一个消息发布订阅系统。Producer向某个Topic发布消息,而Consumer订阅某个Topic的消息。一旦有新的关于某个Topic的消息,Broker...
  • homeeko
  • homeeko
  • 2017年06月09日 12:00
  • 573

flume+kafka配置说明

  • 2017年08月19日 15:52
  • 4KB
  • 下载

log4j+flume+kafka管理日志,查询日志

由于系统每天生成日志文件非常庞大所以做了这个日志分类

flume-kafka-storm源程序

  • 2015年11月27日 14:12
  • 33.1MB
  • 下载

flume,kafka,storm整合

  • 2017年05月04日 20:18
  • 1.03MB
  • 下载

Flume+Kafka+Storm+Redis实时分析系统基本架构

今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一 个简单的入门级架构,实际生产环境中的大数据实时分析技...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:flume+kafka
举报原因:
原因补充:

(最多只允许输入30个字)