大数据进阶之路

可直接拿来用的kafka+prometheus+grafana监控告警配置

Kafka的安装下载及上传  此处使用Kafka的2.3.1版本进行安装，下载地址：http://kafka.apache.org/downloads  下载完成之后将下载好的kafka_2.11-2.3.1.tgz安装包上传到所要安装的Linux服务器上，我的软件安装包放在/opt/software/下单机模式安装将Kafka_2.11-2.3.1.tgz解压在/opt/apps/目...

kafka的安装1. 下载及上传此处使用Kafka的2.3.1版本进行安装，下载地址：http://kafka.apache.org/downloads下载完成之后将下载好的kafka_2.11-2.3.1.tgz安装包上传到所要安装的Linux服务器上，我的软件安装包放在/opt/software/下2. 安装将Kafka_2.11-2.3.1.tgz解压在/opt/apps/目录下...

源码阅读-RecordKafka消息格式相关的代码位于clients工程下的/java/org/apache/kafka/common/record包下。类之间的关系图如下所示：1. DefaultRecord（默认消息）类中的消息格式定义（org.apache.kafka.common.record.DefaultRecord）：字段说明sizeInBytes消息总长度字段attributes消息属性字段offset位移增量timestamp时

Kafka的操作主题相关操作命令格式# 格式[yangqi@xiaoer kafka-2.3.1]$ ./bin/kafka-topics.sh --zookeeper xiaoer:2181,yangqi1:2181,yangqi2:2181/kafka --操作 [--options]主题帮助命令# 主题帮助命令[yangqi@xiaoer kafka-2.3.1]$ ./bin...

Kafka的日志存储kafka的消息是以topic为单位进行归类的，各个topic之间互相独立，互不影响。每个主题可以分成一个或者多个分区。每个分区各自存在一个记录消息数据的日志文件。图中，order-topic主题共有3个分区，每个分区存在一个以topic-partition命名的目录，目录下的文件结构如下表：文件类别作用.index消息的物理地址的偏移量索引文件.timeindex映射时间戳和相对offset的时间戳索引文件.log日志文件（消息存储文件）

Kafka源码阅读-LogSegment日志段代码解析地址位于core工程下的/scala/log/LogSegment.scala。该文件中定义了以下三个scala对象：1. LogSegment类定义log：消息的日志文件lazyOffsetIndex：偏移量索引文件lazyTimeIndex：时间戳索引文件txnIndex：事务索引文件baseOffset：每个日志文件的其实偏移量baseOffset，磁盘中存储文件的命名采用的就是baseOffsetindexInterval