Apache Hadoop生态-目录汇总-持续更新

目录

1：系统服务分布图

3台分布式架构

1台单机架构

服务版本介绍

2：服务目录

存储相关

数据采集

Flume系列

sqoop系列

Maxwell系列

任务调度

计算引擎

spank系列

flink系列

即席查询

数据可视化

集群监控

元数据管理

用户认证

权限管理

第三方windows客户端

---

1：系统服务分布图

3台分布式架构

	node01(6G内存)	node02(6G内存)	node03(6G内存)
NameNode	√		√
DataNode	√	√	√
ResourceManager	√		√
NodeManager	√	√	√
JobHistoryServer 历史服务器		√
Zookeeper	√	√	√

1台单机架构

node100(20G内存)
NameNode	√
DataNode	√
ResourceManager	√
NodeManager	√
JobHistoryServer 历史服务器	√
Zookeeper	√

服务版本介绍

框架	版本
java	8
mysql	5.7
zookeeper	3.5.7
kafka	2.12-2.2.0
hadoop	3.2.2
hive	3.1.2
hbase	2.3.6
Elasticsearch	7.8.0
ClickHouse	21.7.314
spark	3.0.0
flink	1.13.0
flume	1.9.0
sqoop	1.4.7
DataX	3.0.0
Maxwell	1.29.2
Cannal	1.1.2
Azkaban	3.90.0
DolphinScheduler	2.0.3
Superset	1.3.2
Kylin	3.0.1   4X要求spark3.1x
Presto	0.189
Atlas	2.1.0

2：服务目录

Mysql系列：Mysql5.7编译安装

Mysql系列：Mysql5.7 Docker安装

Apache Hadoop生态部署-安装Java8环境

Apache Hadoop生态部署-3台设置的免密登录，xsync分发脚本，jpsall脚本

存储相关

Apache Hadoop生态部署-zookeeper单机安装

Apache Hadoop生态部署-zookeeper分布式安装

Apache Hadoop生态部署-kafka单机安装

Apache Hadoop生态部署-kafka分布式安装

Apache Hadoop生态部署-hadoop单机安装

Apache Hadoop生态部署-hadoop伪分布式安装

Apache Hadoop生态部署-hadoop分布式安装(HA)

Apache Hadoop生态部署-hive单节点安装

Apache Hadoop生态部署-hbase单节点安装

Apache Hadoop生态部署-hbase分布式安装

Apache Hadoop生态部署-ClickHouse单节点安装

Apache Hadoop生态部署-ClickHouse分片集群安装

Apache Hadoop生态部署-Elasticsearch单节点安装

Apache Hadoop生态部署-Elasticsearch分片集群安装

数据采集

Flume系列

        Apache Hadoop生态部署-Flume采集节点安装

        Flume系列：Flume组件架构

        Flume系列：Flume Source使用

        Flume系列：Flume Channel使用

        Flume系列：Flume Sink使用

        Flume系列：Flume 自定义Interceptor拦截器

        Flume系列：Flume通道拓扑结构

        Flume系列：Flume常用采集通道案例

        Flume系列：案例-Flume复制(Replicating)和多路复用(Multiplexing)

        Flume系列：案例-Flume负载均衡和故障转移

        Flume系列：案例-Flume 聚合拓扑(常见的日志收集结构)

        Flume系列：Flume数据监控Ganglia

sqoop系列

       sqoop系列：sqoop(离线数据同步)采集节点安装

       sqoop系列：sqoop(离线数据同步)开发案例

Apache Hadoop生态部署-DataX(离线数据同步)采集节点安装

Maxwell系列

        Apache Hadoop生态部署-Maxwell(实时数据同步)采集节点安装

        Maxwell系列：Maxwell数据格式

        Maxwell系列：Maxwell采集Mysql到Kafka

        Maxwell系列：Maxwell过滤表与全量同步

Apache Hadoop生态部署-Cannal(实时数据同步)采集节点安装

任务调度

Apache Hadoop生态部署-Azkaban集群模式安装

Apache Hadoop生态部署-DolphinScheduler安装

计算引擎

MapReduce系列

spank系列

flink系列

即席查询

Apache Hadoop生态部署-Kylin安装

Apache Hadoop生态部署-Presto安装

Apache Hadoop生态部署-Druid安装

Apache Hadoop生态部署-Doris安装

数据可视化

Apache Hadoop生态部署-Superset安装

集群监控

Apache Hadoop生态部署-Zabbix安装

Apache Hadoop生态部署-Prometheus安装

元数据管理

Apache Hadoop生态部署-Atlas安装

用户认证

Apache Hadoop生态部署-Kerberos安装

Apache Hadoop生态部署-Kerberos集成hdfs

Apache Hadoop生态部署-Kerberos集成yarn

Apache Hadoop生态部署-Kerberos集成hive

Apache Hadoop生态部署-Kerberos集成hbase

权限管理

Apache Hadoop生态部署-Ranger安装

第三方windows客户端

Apache Hadoop生态部署-zookeeper客户端prettyZoo

Apache Hadoop生态部署-kafka客户端kafkatool

Apache Hadoop生态部署-DBeaver客户端-连接hive

Apache Hadoop生态部署-DBeaver客户端-连接hive+kerberos

Apache Hadoop生态部署-DBeaver客户端-连接hbase

Apache Hadoop生态部署-DBeaver客户端-连接hbase+kerberos