kafka
A阿楠521
人不死,终会有出头之日
展开
-
Kafka坑 - Couldn't find leaders for Set(kafka重启)
SparkStreaming程序从Kafka读数据的程序运行期间报了如下异常:org.apache.spark.SparkException: ArrayBuffer(org.apache.spark.SparkException: Couldn't find leaders for Set有可能是kafka进程的问题,重新启动即可,亲自试有效。这个异常意思是Spark找不到par...原创 2019-09-06 16:27:00 · 876 阅读 · 0 评论 -
kafka和zookeeper一键启停脚本(以及kafka关不掉问题解决)
在设置kafka停止任务的时候需要注意修改配置文件在kafka和zookeeper各自组件的bin下边配置文件首先设置kafka的启停配置,在kafka的bin目录下 vimstart-kafka.sh 启动配置 vimstop-kafka.sh 停止配置,具体配置如下:start-kafka.sh#!/bin/bashfor I in {hadoop,hadoop...原创 2019-09-08 19:07:22 · 1378 阅读 · 0 评论 -
kafka常见的问题(具体详细)
1. Kafka 如何做到高吞吐、低延迟的呢?这里提下 Kafka 写数据的大致方式:先写操作系统的页缓存(Page Cache),然后由操作系统自行决定何时刷到磁盘。因此 Kafka 达到高吞吐、低延迟的原因主要有以下 4 点:页缓存是在内存中分配的,所以消息写入的速度很快。 Kafka 不必和底层的文件系统进行交互,所有繁琐的 I/O 操作都由操作系统来处理。 Kafka 采用...原创 2019-09-08 19:18:33 · 1091 阅读 · 0 评论 -
RabbitMQ和Kafka的区别
前言开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个?RabbitMQ架构RabbitMQ是一个分布式系统,这里面有几个抽象概念。1:broker:每个节点运行的服务程序,功能为维护该节点的队列的增删以及转发队列操作请求。2:master queu...原创 2019-09-08 19:25:12 · 6205 阅读 · 2 评论 -
kafka的简单概述及基本命令
一、Kafka简介,什么是kafkaKafka:消息队列,缓存数据kafka是一个分布式消息队列,流式计算中,一般用来缓存数据在流式计算中,Kafka一般用来缓存数据,SparkStream/Flink/Storm通过消费Kafka的数据进行计算。1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2)Kafk...原创 2019-09-08 19:30:14 · 160 阅读 · 0 评论 -
Kafka集群部署详细步骤(包含zookeeper安装步骤)
Kafka集群部署注意:如果jdk1.8和zookeeper都安装设置过之后可以直接安装kafka跳过其它步骤kafka基础简介及基本命令1.环境准备1.1集群规划node01 node02 node03 zk zk zkkafka kafka kafka1.2jar包下载http:...原创 2019-09-08 20:13:06 · 444 阅读 · 0 评论 -
sparkStreaming+kafka SparkException: java.nio.channels.ClosedChannelException异常报错
在运行sparkStreaming+kafka的时候报错 java io报错,如果broker-list的端口不对或者kafka服务端未启动,会遇到以下错误:Exception in thread "main" org.apache.spark.SparkException: java.nio.channels.ClosedChannelException at org.apach...原创 2019-09-09 18:43:23 · 1498 阅读 · 1 评论