kafka
文章平均质量分 92
方方园园
这个作者很懒,什么都没留下…
展开
-
docker安装kafka
先按zk docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=10.9.44.11:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT:原创 2020-05-17 20:54:17 · 40677 阅读 · 17 评论 -
kafka使外网访问配置
参考 https://blog.csdn.net/fengcai19/article/details/54695874 修改 advertised.listeners=PLAINTEXT://10.20.12.23:9092 zookeeper.connect=10.20.12.23:2181原创 2020-02-29 20:16:45 · 1912 阅读 · 0 评论 -
logstash双管道实现kafka到es mongo相同数据数据不同字段存储
公司需要代理平台需要升级,需要记录调用日志,并且返回结果也要保存(可能会有全量数据)于是选择mongo存储 logstash配置过程中 刚开始设置了两个两个output中 但是无意中发现 es或者mongo挂了 logstash就一直等待了 于是采用双管道 互不影响工作 配置如下: es.conf input { kafka { bootstrap_servers...原创 2020-02-26 17:28:46 · 567 阅读 · 1 评论 -
kafka异步发送
package com.sdyy.maint.kafka; import com.sdyy.maint.entity.KafkaMessage; import lombok.extern.log4j.Log4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.ka...原创 2020-02-24 18:58:40 · 364 阅读 · 0 评论 -
kafka->logstash->es配置
logstash.yml input { kafka { bootstrap_servers => ["127.0.0.1:9092"] # 注意这里配置的kafka的broker地址不是zk的地址 group_id => "logstash" # 自定义groupid topics => ["ttp"] # ka...原创 2020-02-23 14:27:24 · 1113 阅读 · 5 评论 -
zookeeper在linux下安装以及kafka启动
启动报错 在/usr路径下创建一个文件夹java mkdir /usr/java 找到之前丢服务器上的JDK压缩包,通过命令将其解压到/usr/java目录下 tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/java vi .bashrc 添加上 export JAVA_HOME=/usr/java/jdk-8u201-linux-x64 expo...原创 2019-11-22 15:26:06 · 363 阅读 · 0 评论