kafka
文章平均质量分 63
AA赵师傅
人家只是个小职员啦,工作多,没提成。别人休假我加班。房贷没还清,保险自己买,不过好在我不用交停车费,因为我根本买不起车。
展开
-
flume消费kafka数据配置
(1)在hadoop104的/opt/module/flume/conf目录下创建kafka-flume-hdfs.conf文件[mars@hadoop104 conf]$ vim kafka-flume-hdfs.conf在文件配置如下内容## 组件a1.sources=r1 r2a1.channels=c1 c2a1.sinks=k1 k2## source1##类型为kafkaa1.sources.r1.type = org.apache.flume.sou..原创 2021-01-27 21:37:15 · 1372 阅读 · 0 评论 -
Kafka压测
1)Kafka压测用Kafka官方自带的脚本,对Kafka进行压测。Kafka压测时,可以查看到哪个地方出现了瓶颈(CPU,内存,网络IO)。一般都是网络IO达到瓶颈。kafka-consumer-perf-test.shkafka-producer-perf-test.sh2)Kafka Producer压力测试(1)在/opt/module/kafka/bin目录下面有这两个文件。我们来测试一下说明:[mars@hadoop102 kafka]$ bin/kafka-prod原创 2021-01-26 22:08:48 · 256 阅读 · 0 评论 -
Kafka部署与监控
kafka简介:kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线原创 2021-01-26 21:23:08 · 712 阅读 · 0 评论