flume+kafka

原创 2015年11月17日 21:33:27

Flume启动命令:

$bin/flume-ng agent --conf conf--conf-file conf/flume-conf.properties --name producer-Dflume.root.logger=INFO,console

bin/flume-ng agent --conf ./conf/ -f conf/flume-kafka.conf -Dflume.root.logger=DEBUG,console -n agent1

bin/flume-ng avro-client --conf conf -H localhost -p 44444 -F /root/zyx/test.txt -Dflume.root.logger=DEBUG,console

zkService.sh start
bin/kafka-server-start.sh config/server.properties


启动及测试命令:

1 start server

> bin/zookeeper-server-start.shconfig/zookeeper.properties

> bin/kafka-server-start.sh config/server.properties

2Create a topic
> bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1--partition 1 --topic test

> bin/kafka-list-topic.sh --zookeeperlocalhost:2181

3Send some messages

> bin/kafka-console-producer.sh--broker-list localhost:9092 --topic test

4Start a consumer

> bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic test --from-beginning

版权声明:互相学习

新版flume+kafka+storm安装部署

去年写了篇flume+kafka+storm的文章,最近重新回顾发现改动挺大的,就重新整理这篇文章。希望能帮上大家。架构图、组件介绍就不重复了,这篇文章重点将如何安装部署。需要源码的请留言。 顺便打个...
  • va_key
  • va_key
  • 2015年08月27日 16:43
  • 3698

Flume与Kafka整合案例详解

环境配置 名称 版本 下载地址 Centos 7.0 64x 百度 Zookeeper 3.4.5 Flume 1.6.0 Kafka 2.1...
  • qq_26840065
  • qq_26840065
  • 2017年04月14日 16:52
  • 6702

kafka和flume的对比

摘要: (1)kafka和flume都是日志系统。kafka是分布式消息中间件,自带存储,提供push和pull存取数据功能。flume分为agent(数据采集器),collector(数据简单处理和...
  • crazyhacking
  • crazyhacking
  • 2015年05月15日 17:20
  • 11991

spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)

  • 2017年12月06日 14:16
  • 1.42MB
  • 下载

使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【大数据】

  • 2017年10月29日 23:00
  • 14KB
  • 下载

flume+kafka+storm

  • 2015年11月07日 09:10
  • 1.88MB
  • 下载

flume+kafka配置说明

  • 2017年08月19日 15:52
  • 4KB
  • 下载

flume-kafka-storm源程序

  • 2015年11月27日 14:12
  • 33.1MB
  • 下载

flume,kafka,storm整合

  • 2017年05月04日 20:18
  • 1.03MB
  • 下载

cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】

  • 2017年10月31日 16:41
  • 43KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:flume+kafka
举报原因:
原因补充:

(最多只允许输入30个字)