momo898821的博客

准备下载安装包官方下载地址如果速度慢可换成国内镜像wget https://mirrors.huaweicloud.com/haproxy/2.1/src/haproxy-2.1.5.tar.gz安装1、解压tar -xvf haproxy-2.1.5.tar.gz2、编译make TARGET=linux-glibc#如果自定义安装路径make TARGET=linux-glibc PREFIX=/home/hadmin/haproxy3、安装make install#如

介绍Flume是一款分布式的ETL工具，以流式进行数据接入。它具有分布式、容错机制、可水平扩容的特性，并且使用简单，内置丰富的组件，通过配置文件即可实现数据的转移，不需要编写任何代码，特殊情况下需自行实现接口，编写自定义的组件。架构**Source：**数据源，数据通过Source接口进入Flume，内置多种Source，可直接与其他软件进行对接**Channel：**管道，相当于缓存，Souce中的数据经过处理后会直接进入Channel中**Sink：**输出，Sink接收Channel中的数据

介绍CMAK就是Kafka Manager的前身，能够管理多个集群，最主要的是可以查看Consumer Offset，方便查看消费进度。环境要求1、Kafka 0.8+2、Java 11+。新版本都是用JDK11编译的，所以需要自行下载JDK113、CMAK3.0安装包：ZIP包下载地址 GitHub项目地址说明：CMAK运行需要JDK11，在启动时候可以指定java-home，因此与系统JDK环境不会冲突准备我的部署环境：Kafka：2.2.0Java：JDK8、JDK11

Flink架构基础知识

Flink集群安装部署

kafka架构原理

Kafka集群安装部署

RocketMQ 2m-2s-async集群安装部署

Spark Shuffle

Spark宽依赖和窄依赖

Spark基础架构知识

Spark安装部署

Storm架构和运行原理

Storm集群安装

Hive数据倾斜

Hive高级函数

Hive分区和桶

Hive安装部署

Hbase二级缓存

Hbase数据倾斜热点问题