bigdata_kafka
文章平均质量分 85
乔治大哥
脚踏实地,仰望星空。
展开
-
Kafka Consumer 简易配置
@Bean(value = "kafkaConsumer", destroyMethod = "close")public KafkaConsumer<String, String> getKafkaConsumer() throws Exception { Properties properties = new Properties(); properties.putAll(xxx.getClientConfigs(kafkaClientId,kafkaUsername,kaf...原创 2021-04-29 11:05:39 · 2267 阅读 · 1 评论 -
临近春招,Kafka是不是忘完了,给你一文概括Kafka
1. Kafka 概述1.1定义Kakfa 是一个分布式的基于发布/订阅模式的消息队列(message queue),主要应用于大数据的实时处理领域。1.2消息队列1.2.1 传统消息队列与新式消息队列模式上面是传统的消息队列,比如一个用户要注册信息,当用户信息写入数据库后,后面还有一些其他流程,比如发送短信,则需要等这些流程处理完成...转载 2020-02-17 21:04:23 · 467 阅读 · 0 评论 -
使用idea编写SparkStreaming消费kafka中的数据,并对数据进行某一指标的处理【小案例】(五)
接 使用idea编写SparkStreaming消费kafka中的数据【小案例】(四)https://georgedage.blog.csdn.net/article/details/103508619先对上篇做一个回顾,在上一篇我们编写消费者,并且使用sparkStreaming对kafka中的数据进行批处理。这篇对我们接收来的数据进行一个指标的统计。这是原始的数据1...原创 2019-12-12 17:15:01 · 1413 阅读 · 0 评论 -
使用idea编写SparkStreaming消费kafka中的数据【小案例】(四)
继续接 使用idea编写消费者,接收生产者的持续日志输出【小案例】(三)https://georgedage.blog.csdn.net/article/details/103506165使用spark-Streaming进行流式接收处理。记得添加pom <dependency> <groupId>org.ap...原创 2019-12-12 14:36:55 · 660 阅读 · 0 评论 -
使用idea编写消费者,接收生产者的持续日志输出【小案例】(三)
在 用idea编写代码作为生产者,Kafka接收其【持续】发来的广告日志信息【小案例】(二) https://georgedage.blog.csdn.net/article/details/103504598和 使用idea编写代码作为生产者,Kafka接收其发来的信息【小案例】(一) https://georgedage.blog.csdn.net/article/deta...原创 2019-12-12 13:16:04 · 493 阅读 · 0 评论 -
用idea编写代码作为生产者,Kafka接收其【持续】发来的广告日志信息【小案例】(二)
接我们上一篇使用idea编写代码作为生产者,Kafka接收其发来的信息【小案例】(一)https://georgedage.blog.csdn.net/article/details/103503400上篇直接生产一个字符串,进行消费。这一篇做一个改进,对字符串进行高级化。比如,时间戳+用户ip+广告ip+省+市代码如下:package com.kafkaimport j...原创 2019-12-12 10:32:12 · 342 阅读 · 0 评论 -
使用idea编写代码作为生产者,Kafka接收其发来的信息【小案例】(一)
对于这个小案例,简单来个图示,友情补充pom <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactI...原创 2019-12-12 09:49:08 · 1018 阅读 · 0 评论 -
kafka消费速度跟不上生产速度的解决方案!
虽说kafka是个高吞吐的消息中间件,有着削峰填谷的作用。但是当consumer消费速度过慢时,大量的数据堆积,造成系统的异常。所以以下给出几种解决方案。1、提高了partition的数量,从而提高了consumer的并行能力,从而提高数据的消费能力,也就是我们说的多线程消费,既然一个线程消费不过来,那么就多开线程,开十个线程,消费能力就提高了10倍。但前提是,要消费的topic的pa...原创 2019-11-29 10:21:30 · 10811 阅读 · 0 评论 -
简单说一下kafka 与其他消息队列
• RabbitMQ:分布式,支持多种MQ协议,重量级• ActiveMQ:与RabbitMQ类似• ZeroMQ:以库的形式提供,使用复杂,无持久化• redis:单机、纯内存性好,持久化较差• kafka:分布式,较长时间持久化,高性能,轻量灵活• RabbitMQ也是常见的消息对列,它支持多种MQ的协议,jms啊,等多种协议等等,它的缺点比较重• ActiveMQ也和R...原创 2019-11-21 16:38:04 · 359 阅读 · 0 评论 -
Kafka删除topic Note: This will have no impact if delete.topic.enable is not【另外强烈推荐一个kafka小工具】
vi /opt/kafka/config/server.properties需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。另外推荐小工具:Kafka Tool查阅,添加,删除,等等才做均可...原创 2019-11-21 16:00:50 · 4399 阅读 · 0 评论 -
kafka _命令行操作
kafka _命令行操作#启动zkzkServer.start#启动kafkakafka-server-start.sh -daemon /opt/kafka/config/server.properties#查看当前服务器中的所有topickafka-topics.sh --zookeeper henu4:2181 --list#创建topickafka-topics....原创 2019-11-08 19:50:06 · 302 阅读 · 0 评论 -
kafka集群部署
kafka集群部署:【注】linux下安装kafka,首先确保zookeeper已经安装成功,想要安装zookeeper,必须先在linux中安装好jdk。1、现将tar包放在指定的目录如果没有tar包,官网是你取得地方。http://kafka.apache.org/2、解压[root@henu3 opt]# tar -zxvf kafka_2.11-2.3.1.tgz[...原创 2019-11-08 16:04:08 · 472 阅读 · 0 评论