kafka
铲子挖数据
这个作者很懒,什么都没留下…
展开
-
Confluent 安装 Kafka REST Proxy服务使用
背景:公司由于业务需求想要通过http的方式往kafka发送消息,所以需要安装一个kafka的插件Confluent 实现。1.下载安装官网下载链接:https://www.confluent.io/download.安装的前提是kafka和zookeeper有安装成功,能正常运行(网上很多教程,自行查找吧)下载好tar包之后解压放在自己指定的目录下然后开始修改配置文件解压后进入到c...原创 2020-02-27 14:54:31 · 2117 阅读 · 0 评论 -
使用python完成Kafka+sparkstreaming+elasticsearch
在网上找了很久python的Kafka+sparkstreaming+elasticsearch的代码找不到,基本都是scala或者java的(好像是spark自己本身提供了库给java和scala写入ES?然而并没有可以提供给python的????),所以自己写了一个,能正常运行,但是感觉这样写不太好,想发出来和大家交流一下。from elasticsearch import Elasticsear...原创 2020-02-25 11:17:57 · 454 阅读 · 0 评论