Druid Kafka indexing service (Druid 导入 Kafka 数据)

1、默认已经安装 Druid, 如未安装请参见上篇文章 <Druid 入门>

2、安装 Kafka 环境。(单机测试)(Druid 与 Kafka 在同一台机器上)

     2.1 下载 kafka

    curl -O http://www.us.apache.org/dist/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz
    tar -xzf kafka_2.11-0.9.0.0.tgz
    cd kafka_2.11-0.9.0.0

    2.2 启动(由于 kafka 与 zookeeper 在一台机器上未修改配置)

     nohup ./bin/kafka-server-start.sh config/server.properties &

   2.3 创建 topic

   ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic wikiticker

3.Enable Druid Kafka ingestion(启用 Druid Kafka 摄入)(自己看着翻译吧 ๑乛◡乛๑)

imply 默认提供了一个 demo  wikiticker-kafka-supervisor.json, 是一个 kafka 的 配置
curl -XPOST -H'Content-Type: application/json' -d @quickstart/wikiticker-kafka-supervisor.json http://localhost:8090/druid/indexer/v1/supervisor

返回值:{"id":"wikiticker-kafka"}

4、发送数据

 ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic wikiticker

发送以下内容:
{"isRobot":false,"channel":"#en.wikipedia","timestamp":"2016-06-27T20:41:29.625Z","flags":"","isUnpatrolled":false,"page":"Indonesian future capital proposal","diffUrl":"https://en.wikipedia.org/w/index.php?diff=727266238&oldid=727256901","added":1467,"comment":"/* New capital city */ add Balikpapan and Palembang plus ref","commentLength":60,"isNew":false,"isMinor":false,"delta":1467,"isAnonymous":false,"user":"Gunkarta","deltaBucket":1400.0,"deleted":0,"namespace":"Main"}


5查看 http://Ip:9095 (选择创建的数据源)

参考文章:https://docs.imply.io/on-premise/tutorial-kafka-indexing-service

                 http://druid.io/docs/latest/ingestion/stream-pull.html

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一一可可

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值