万里长江横渡-CSDN博客

原创 Pod控制器详解

Pod控制器是管理pod的中间层，使用Pod控制器之后，只需要告诉Pod控制器，想要多少个什么样的Pod就可以了，它会创建出满足条件的Pod并确保每一个Pod资源处于用户期望的目标状态。如果Pod资源在运行中出现故障，它会基于指定策略重新编排Pod。

2024-01-10 10:03:18 1164

由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址，【执行上述命令会比较慢，因为后台其实已经在拉取镜像了】，我们 docker images 命令即可查看已经拉取的镜像。status 为NotReady，表示master节点已经运行了，但是还是处于未准备状态，需要在slave节点执行其他命令，将 slave1和slave2节点加入到maste节点。8、master节点创建token，默认的token有效期是24小时，也可以创建永久有效的token。

2024-01-06 15:37:30 925

原创配置ssh免密登录

3.只需要将cdh-hadoop1也就是集群中的master节点上的公钥拷贝到其他所有节点即可。集群的通信只需要master节点能连接所有worker节点即可。输入ssh-keygen -t rsa 敲三次回车。2、将公钥拷贝到集群的所有节点中。

2024-01-02 21:54:38 542

原创 blackbox-exporter使用

其中/opt/module/blackbox-exporter/blackbox_exporter-0.24为本机的blackbox_exporter安装路径，各位看官老爷可以根据自己的实际路径作修改。因为在prometheus.yml文件中创建的匹配规则为alert-rules-*.yml，所以此处创建的配置文件能被识别到。在prometheus的安装节点上修改prometheus的配置文件，我的路径为。访问blackbox-exporter的安装节点的IP+端口号。重启prometheus服务。

2023-12-28 00:11:25 743

原创 Grafana二进制部署并配置prometheus数据源

用户名/密码：admin/admin#第一次需要重置密码。输入prometheus主机的安装主机的ip地址和端口号。我的为http://192.168.0.21:9090。我的将密码修改为admin1 方便记。选择 DATA SOURCES。选择Prometheus。

2023-12-24 21:59:18 649

原创 prometheus二进制安装

但此时 Prometheus 还获取不到任何数据，我们还需要配置下 prometheus.yml 文件，让其去拉取 Node Exporter 的数据。NodeExporter 是 Prometheus 官方提供的一个可以采集到主机信息的应用程序，它能采集到机器的 CPU、内存、磁盘等信息。1、在需要安装prometheus的目录下执行wget命令下载软件到本地，如我的路径是/opt/module/prometheus。在页面Status------>targets查看节点信息。在解压后的目录下后台运行。

2023-12-24 14:05:54 257

原创 CentOS中docker安装及镜像源配置

1、首先配置docker的阿里yum源。2、用yum方式安装docker。3配置docker多镜像源配置。4、重启docker。

2023-12-23 16:41:57 820

原创 Hadoop的YARN高可用

Hadoop2.0即第二代Hadoop，由分布式存储系统HDFS、并行计算框架MapReduce和分布式资源管理系统YARN三个系统组成，其中YARN是一个资源管理系统，负责集群资源管理和调度，MapReduce则是运行在YARN上的离线处理框架。YARN 一种开源的分布式资源管理和作业调度技术，它是作为Apache Hadoop 的核心组件之一，负责将系统资源（计算、存储和网络资源）分配给运行在Hadoop集群中的各种应用程序，并对运行在各集群节点上的任务进行调度。

2023-09-19 13:48:50 589

原创 Hadoop的HDFS高可用方案

Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFSNameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂1、HDFS系统高可用简介HDFS高可用的核心：NameNode高可用，部署多个NameNode，同时实现数据的同步和故障切换Active NameNode 和 Standby NameNode。

2023-09-19 13:48:46 782

原创离线数仓分层

对业务模型进行抽象处理成一个个业务概念实体，最常见的就是E-R模型，与具体数据库系统无关，必须转化为逻辑或者物理数据模型才能在数据库系统中实现，概念模型就像是er图记录整体概览，包括了每一步操作，像是大图展示。按照主题域、颗粒度（例如买家、卖家）划分，按照周期粒度、维度聚合形成指标较多的宽表，用于提供后续的业务查询，数据应用，最重要一点需要在DWS层完成指标口径统一及沉淀。是数仓明细数据层，对ODS层的数据进行关联，清洗，维度退化（将维度表中维度数据放入明细表中），转换，主题域建设等操作。

2023-05-25 17:55:21 724

原创数仓模型建设基本流程

颗粒度必须拆分为不可拆分为止，即最小颗粒度。该主题域下参与的各方全都拆分出来，直到不可再拆分为止，拆分出的粒度代表一条最基础的业务含义。围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。对当前业务场景或业务sop进行拆分完成对应主题建设。对场景下数值类型的数据记录。对当前场景描述及补充。

2023-05-20 19:17:39 488

原创数仓建设架构和数据架构

一、数仓建设架构二、数仓数据架构

2023-04-21 10:46:50 201

原创常见的九种大数据分析模型

亦或者，存在被低估的情况？分布分析主要能够提供「维度指标化」之后的数据分解能力，将原有维度按照一定的数值区间进行维度划分，进而分析每个维度区间的分布情况，在以下分析场景中十分常见：分析订单的金额分布、分析某类特殊事件的发生时段分布、分析某类特殊事件的发生次数分布、分析触发某类事件的用户年龄分布。通过属性分析，可以快速查看在不同属性上的用户数分布情况，便于统计不同特征的用户总量，在使用属性分析的过程中，需要合理选择度量方式，常用的度量方式包括：用户数、去重数、总和、最大值、最小值、均值等。

2023-04-14 10:51:50 5768