itxiaoshen博客

通过上一篇对Zabbix基础和原理有一定理解，本篇则着重从多个实战示例一步步演示如何使用，可直接用于生产环境使用，内容覆盖源码安装、Zabbix Agent2部署、分布式架构Zabbix Proxy的使用、自定义监控、触发器、图形、模板、snmp监控、自动发现、主动注册、JMX监控等完整示例。

前面研究过最主流的容器化监控Prometheus，今天再来聊聊善于监控网络、物理机、虚拟机等的老牌成熟开源监控方案Zabbix（6.2）及其总体架构，并与小米开源Open-falcon做对比分析；企业如何正确选择其版本，最后快速部署Zabbix并实现一个Agent主机的入门示例。

存算分离是下一代企业大数据必然趋势，本篇先简述存算分离背景以及为何要进行存算分离，当前存算分离主要优势和实际应用场景。并归纳分析若干如华为Ocean系列、JuiceFs、HashData等市面上存算分离产品和解决方案。

上一篇对Hbase底层原理有一定理解后则进入生产开发实战，企业开发大都使用Phoenix来操作Hbase的数据，先部署Phoenix，通过其类似shell命令工具创建表和插入数据及查询数据、表映射，简易JDBC演示示例，实操理解二级索引使用，最后通过整合Hive若干示例实现对Hbase的数据的简易分析能力。

要想入门大数据理论和原理必先研究HBase，体会其设计精髓，本篇先介绍其基础架构和应用场景、逻辑结构和物理存储结构进一步理解其数据模型，通过详细完整步骤一步步的安装最新版本2.5高可用的Hbase集群以加深理解其整体架构，最后通过实操Hbase Shell基础命令和DDL、DMl等常用命令。

Tekton以yaml文件编排应用构建及部署流程，是一个纯云原生的标准化CICD流水线构建、测试和部署流程的工具，本篇先介绍其使用好处、主要组件、并一步步部署和简单演示任务和管道的简易使用。

ArgoCD是Kubernetes的声明式、GitOps连续交付工具，通过Kubernetes控制器来实现。本篇介绍ArgoCD基本功能、组件和工作流程，也介绍通过kubekey部署简单K8S集群和基于K9S简易管理K8S集群，并通过K8S部署ArgoCD，通过二进制部署和配置ArgoCD的命令行工具，最后以一个官方示例演示ArgoCD创建APP的简易示例入门。

Hive与Spark之间整合有3种模式，本篇从Hive on Spark和Spark on Hive的使用出发，hive支持mr、tez和spark三种底层计算引擎，通过部署Hive on Spark环境实现Hive用到Spark的体验，Spark on Hive的使用则比较简单直接通过SQL操作Hive，最后罗列常见的一些大数据性能调优方法。

本篇先了解Spark和Hadoop的关系与区别，进一步了解特性和相关组件架构；通过实战部署了Spark最新版本3.3.0的Local、Standalone+历史服务+HA、Yarn的部署完成操作步骤，并通过不同提交方式的示例和WebUI查看加深多Spark多种作业提交原理的理解，并拉开了使用Spark-Shell方式提交本地、集群、yarn交互式使用之门。

Hive是一个建立在Hadoop HDFS架构至上的数仓工具，管理元数据但本身不存储数据，本篇了解hive优缺点，进一步理解其组成部分和数据组织形式和Driver，最后通过部署最新版本3.1.3版本完成内嵌模式、本地metastore、远程hiveserver2和metastore打开进入hive使用的大门

Ceph实现了分布式统一的存储，既支持对象存储、块设备存储还支持文件系统，不失为目前最成熟稳定的存储解决方案，本篇先了解传统存储问题和Ceph的优势，介绍总体架构和组成部分，说明官网文档部署和部署版本建议，了解几种部署方式，最后通过Cephadm快速部署一个简单暂无存储节点的集群，后续可以在此基础上进行高可用节点的和存储节点的扩缩容

一个可以快速安装和管理多K8S集群强大工具Rancher，虽然也有其他如Openshift、Kubesphere、Sealos，还是强烈推荐生产环境直接选用Rancher，本篇从部署Rancher本身开始，一步步基于Rancher搭建一个新的K8S集群的详细操作步骤和常见功能介绍，最后部署一个Deployment的Nginx应用和动态扩缩容的演示示例。......

有Sqoop和DataX之类数据处理为何还要用Apache SeaTunnel，这就要得益于Apache SeaTunnel依赖Flink和Spark天然分布式处理数据的特性，前两者是单机同步数据不适于海量数据同步，以低代码方式用配置文件就可以启动Flink数据处理应用，本篇从基本概念和原理入手，并通过部署SeaTunnel演示了多个基于Flink的Source和Sink配置，基本掌握如何编写配置使用。............

全篇通过依赖Hadoopz最新版本3.3.4部署Flink最新版本1.15.1的实战操作，针对Standalone 单机部署、Standalone 集群部署、Standalone 单机部署 HA部署的操作步骤结合演示示例深入理解Flink的丰富安装模式，全篇重点在针对生产Flink On Yarn模式，以Flink On Yarn从部署原理、流程和示例完整操作流程说明的角度分别演示会话（Session）模式、单作业（Per-Job）模式、应用（Application）模式形成深刻的理解。

从监控基础理论简单谈起，部署Prometheus的两种数据采集exporter和pushgateway，并通过相应采集示例演示，通过一个对CPU监控采集和图形展示的示例了解到Prometheus强大数学支持，最后通过部署grafana实现一个抓取TCP waiting_connection美观的可视化展示。.........

随着容器化成熟，Prometheus+grafana作为主流监控报警系统越来越被企业所青睐，本篇了解Prometheus的特性，熟悉其架构和组成部分，对其常见概念进行简单说明，其简易部署使得其更稳定更高效，通过docker和二进制两种部署方式搭建Prometheus server，熟悉其控制台常见功能。.........

开篇先提出ES生产环境部署需要考虑五个问题，进而一步步展开阐述ES集群规划、节点类型规划、脑裂问题避免、分片和副本设置推荐设置，最后以一个日志采集生产环境实战例子，应用ES索引生命周期策略、索引模板实现索引的动态管理过程。......

ELK作为老一代日志分析技术栈非常成熟，可以说是最为流行的大数据日志和搜索解决方案，而新一代日志监控选型以MPP架构为主如ClickHouse、StarRocks特别是近年来对ELK地位发起较大的挑战，不乏有许多的大公司如携程，快手已开始把自己的日志解决方案从 ES 迁移到了Clickhouse，本篇将以一个完整实际日志采集的场景进一步打开Clickhouse的技术大门

本篇从单机小型机->垂直拆分->集群化负载均衡->服务化改造架构->服务治理->微服务时代的架构演进开始阐述，并逐步引出ServiceMesh服务网格时代，了解ServiceMesh的概念，列出一些国内外的ServiceMesh项目，最后重点介绍了目前最主流的产品Istio的组成和特点。

云原生时代作为程序猿心怀好奇学习了Kubernetes从此对其不再陌生，本篇以kubeadm方式快速部署3台服务器v1.22.1版本的K8S集群，从部署规划到部署步骤一步步详细记录和说明，遇到问题逐个解决，并练习K8S常用的命令，通过Nginx部署及其快速扩缩容、基于yaml文件部署、容器DNS功能，而关于K8Sconfigmap、secrets、有状态应用、高可用k8s集群、helm以及基于微服务集群容器编排部署后续补充

Pulsar即可以支持queue模式的消息中间件比如RabbitMQ和RocketMQ，也可以支持stream流模式的Kafka，几乎涵盖消息应用的领域，加上丰富企业特性如多租户隔离、百万级Topics、跨地域复制、鉴权认证，是云原生时代其他消息中间件的演化或者说是替代品也不为过

当前Devops思想相当火热已经逐步渗透到企业实际运用当中，通过本篇完整学习你一定可以将CICD直接运用到学习或实际工作当中让周围同事、朋友对你另眼相看，构建一个基于容器化的CICD从Git提交源码后自动触发构建、打包、测试、部署到单个应用服务器Docker宿主机容器中运行，核心组件jenkins版本为2.306，容器化环境也可换为K8S或docker swarm