![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 52
涛之博
这个作者很懒,什么都没留下…
展开
-
Kafka的安装和使用以及配置文件的说明
一、提前安装好zookeeper 注意:安装zookeeper之前一定要确保三台机器时钟同步 */1 * * * * /usr/sbin/ntpdate us.pool.ntp.org; zookeeper集群搭建 二、三台机器安装卡夫卡集群 1.下载kafka安装压缩包 http://archive.apache.org/dist/kafka/ 2.上传压缩包并解压 这里...原创 2018-02-25 23:50:38 · 772 阅读 · 0 评论 -
Kafka与flume的整合
第一步:解压flume到servers目录下 第二步:配置flume.conf 注意:这里的版本为1.8的版本,1.6的版本会配置会有所不同 #为我们的source channel sink起名 a1.sources = r1 a1.channels = c1 a1.sinks = k1 #指定我们的source收集到的数据发送到哪个管道 a1.sources.r1.channel...原创 2018-02-25 23:55:03 · 258 阅读 · 0 评论 -
Kafka的可用性(保证数据不丢失)
问题:如何保证数据的不丢失 kafka的ack机制:在kafka发送数据的时候,每次发送消息都会有一个确认反馈机制,确保消息正常的能够被收到 如果是同步模式:ack机制能够保证数据的不丢失,如果ack设置为0,风险很大,一般不建议设置为0 producer.type=sync request.required.acks=1 如果是异步模式:通过buffer来进行控制数据的发送,有两个...原创 2018-02-25 23:58:59 · 844 阅读 · 0 评论 -
kafkaManager监控工具的安装与使用
第一步:上传压缩包并解压 unzip kafka-manager-1.3.3.7.zip -d /export/servers/ 第二步:修改配置文件application.conf kafka-manager.zkhosts="node01:2181,node02:2181,node03:2181" 第三步:启动kafkaManager ./kafka-manager -Dc...原创 2018-02-26 00:01:09 · 428 阅读 · 0 评论