kafka
abothli
拥有五年的开发工作经验,曾从事过开发,分析,算法,人工智能,机器学习,运维的相关开发工作。
展开
-
kafka acl权限控制
1.对应的broken添加acl权限vim serve.properties末尾添加:allow.everyone.if.no.acl.found=trueauthorizer.class.name = kafka.security.auth.SimpleAclAuthorizersuper.users=User:root2.开启(关闭)kafkabrokerkafka-server-start....原创 2018-06-30 01:53:10 · 4116 阅读 · 0 评论 -
Kafka+Log4j实现日志集中管理
第一部分 搭建Kafka环境安装Kafka下载:http://kafka.apache.org/downloads.htmltar zxf kafka-<VERSION>.tgzcd kafka-<VERSION>启动Zookeeper启动Zookeeper前需要配置一下config/zookeeper.properties:接下来启动Zoo...原创 2018-12-28 15:40:22 · 2131 阅读 · 0 评论 -
实时抽取mysql的binlog日志到kafka的详细配置方法
完美使用canal实时抽取binlog日志到kafka的详细配置# 第一步 数据库my.ini参数 设置binlog_format=ROW# 第二步 数据库赋权CREATE USER canal IDENTIFIED BY 'canal';GRANT SELECT, SHOW VIEW, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ...原创 2018-12-21 15:11:37 · 4245 阅读 · 0 评论 -
canal实时抽取mysql数据发送到kafka
基本说明canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有:kafka: https://github.com/apache/kafka RocketMQ : https://github.com/apache/rocketmq 环境版本操作系统:CentOS release 6.6 (Fina...原创 2018-12-06 10:50:48 · 11940 阅读 · 5 评论 -
实时抽取mysql数据工具之maxwell
利用Maxwell组件实时监听mysql的binlog日志,并且把解析的json格式数据发送到kafka窗口供实时消费文档主题:如何使用Maxwell实时监听Mysql的binlog日志,并且把解析的json格式数据发送到kafka窗口具体步骤一:在linux环境下安装部署好mysql1 开启binlogsudo vi /etc/my.cnf2 mysql的binlog格式...原创 2018-12-12 15:20:08 · 1477 阅读 · 0 评论 -
flume报错flume java.lang.OutOfMemoryError: GC overhead limit exceeded
flumeJava内存溢出造成解决方案:vim /flume_app/apache-flume-1.6.0-bin/bin/flume-ng发现JAVA_OPTS="-Xmx20m" 把参数调大点就可以解决JAVA_OPTS="-Xmx2048m"原创 2018-11-08 13:36:48 · 897 阅读 · 0 评论 -
kafka manger最方便的安装教程,与cdh中的kafka绝配
一、kafka-manager 功能简介1.管理多个kafka集群2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)3.选择你要运行的副本4.基于当前分区状况进行5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topi...原创 2018-10-23 19:45:44 · 281 阅读 · 0 评论 -
kafka+flume+hdfs的flume配置文件
#agent命名a1.sources = r1a1.sinks = k1a1.channels = c1#sources配置a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSourcea1.sources.r1.zookeeperConnect = hadoop1:2181,hadoop2:2181,hadoop3:...原创 2018-09-10 18:17:36 · 671 阅读 · 0 评论 -
flume对接kafka时延迟和高吞吐量以及flume筛选日志
以下是我的flume配置文件,实现了低延迟,筛选功能# 命名a1.sources = r1a1.sinks = k1a1.channels = c1# sources配置a1.sources.r1.type = execa1.sources.r1.command = tail -F /root/flume.loga1.sources.r1.batchSize=1#a1.s...原创 2018-09-07 10:58:51 · 4024 阅读 · 0 评论 -
flume连接kafka遇到ERROR - kafka.utils.Logging$class.error Producer connection to DEV33:9092 unsuccessful
1.下面这个问题挺坑的 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - kafka.utils.Logging$class.error(Logging.scala:97)] Failed to collate messages by topic, partition due to: Failed to fetch topic ...原创 2018-08-24 16:29:14 · 1640 阅读 · 0 评论 -
flume到kafka
1. kafka.properties: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 agent.sources = s1 ...原创 2018-08-24 10:07:01 · 731 阅读 · 0 评论 -
kafka配置文件实例
# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information regarding copyright ...原创 2018-07-10 00:09:21 · 284 阅读 · 0 评论 -
kafka常用命令
0.查看有哪些主题: ./kafka-topics.sh --list --zookeeper 192.168.0.201:121811.查看topic的详细信息./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ12、为topic增加副本./kafka-reassign-partitions.sh -zookeep...原创 2018-07-11 01:54:05 · 133 阅读 · 0 评论 -
kafka二次开发代码实例
配置文件b.txt#选择输出类型(0.筛选输出 1.全体输出 2.不输出数据)input_type = 1#筛选条件 source_mac(多条检索)、user(多条检索)、message(模糊查询) #time(1.当输入一个时间 格式:yyyy-MM-dd-HH:mm:ss 或者输入一个时间戳[秒级时间戳11位] 当输入时间小于等于当前时间不会收集数据 当输入时间大于当前时间将收集当前时间...原创 2018-07-10 00:06:05 · 1282 阅读 · 0 评论 -
kafka的搭建
export KAFKA_INSTALL=/home/hadoop/kafka/kafka_2.10-0.10.2.1export PATH=$PATH:$KAFKA_INSTALL/bin1、解压tar包 tar -zxvf kafka_2.10-0.10.2.1.tgz -C /home/hadoop/kafka/2、创建软链接到kafkaln -s kafka_2.10-0....原创 2018-07-07 00:29:56 · 137 阅读 · 0 评论 -
Kafka负载均衡、Kafka自定义Partition、Kafk文件存储机制
1、Kafka整体结构图Kafka名词解释和工作方式 l Producer :消息生产者,就是向kafka broker发消息的客户端。l Consumer :消息消费者,向kafka broker取消息的客户端l Topic :咋们可以理解为一个队列。l Consumer Group (CG):这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一...原创 2018-07-03 01:12:55 · 778 阅读 · 0 评论 -
什么是kafka?kafka的安装及使用
1、Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 KAFKA + STORM+REDIS l Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。l Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目...原创 2018-07-03 01:12:36 · 2065 阅读 · 0 评论 -
Kafka 集群(用CM部署的)无法使用“--bootstrap-server”进行消费
使用--bootstrap-server参数无法消费Kafka种的数据1>.启动生产者kafka-console-producer --broker-list hadoop6:9092 --topic bbb2>.启动消费者拿不到数据kafka-console-consumer --bootstrap-server 192.144.170.156:9092 --topi...原创 2018-12-18 15:30:55 · 2342 阅读 · 2 评论