![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
huo_火力全开
吃得苦中苦,方位人上人
展开
-
Kafka的安装、使用
Kafka的安装使用,注意事项原创 2019-01-28 16:04:21 · 154 阅读 · 0 评论 -
Flume、Kafka、Spark streaming整合
Flume、Kafka、Spark streaming整合原创 2019-01-28 16:06:43 · 286 阅读 · 0 评论 -
Kafka 单分区有序 怎么做到全局有序
Kafka 单分区有序 怎么做到全局有序 主要概念 Topics: 主题是一个发布记录的目录或者概要名称 broker :进程,一个kafka就是一个broker,多个brok可以组成一个集群 consumer 一个组内共享一个group id 组内的消费者协调一致去消费topic的所有分区 每个分区P0只能被group A 里的一个消费组C1消费 容错消费机制 partition:...原创 2019-03-12 17:52:31 · 5913 阅读 · 0 评论 -
spark streaming、kafka 内存调优、分区调优
spark Streaming 限速 spark.streaming.kafka.maxRatePerPartition 而在Direct Approach,则是通过参数 spark.streaming.kafka.maxRatePerPartition 来配置的。这里需要注意的是,这里是对每个Partition进行限速。所以你需要事先知道Kafka有多少个分区,才好评估系统的实际吞吐量,从而...原创 2019-04-08 16:30:50 · 3302 阅读 · 0 评论