- 博客(274)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Operator 部署Prometheus
该存储库收集 Kubernetes 清单、Grafana仪表板和Prometheus 规则以及文档和脚本，以使用 Prometheus Operator 通过Prometheus提供易于操作的端到端 Kubernetes 集群监控。该项目的内容是用jsonnet编写的。该项目既可以被描述为一个包，也可以被描述为一个库。该软件包中包含的组件：该堆栈用于集群监控，因此它被预先配置为从所有 Kubernetes 组件收集指标。除此之外，它还提供一组默认的仪表板和警报规则。许多有用的仪表板和警报都来自kubern
2024-07-10 10:26:22
832
原创 Helm部署 Loki微服务模式
介绍Loki 部署的单体模式和读写分离两种模式，当你的每天日志规模超过了 TB 的量级，对于超大的 Loki 集群或需要对扩展和集群操作进行更多控制的集群，建议使用微服务模式。微服务部署模式将 Loki 的组件实例化为不同的进程，每个进程都被调用并指定其目标，每个组件都会产生一个用于内部请求的 gRPC 服务器和一...
2024-05-31 11:56:48
771
原创 使用ECK 快速部署 Elasticsearch 集群 + Kibana
部署 ECK [2.12]安装说明ElasticCloudonKubernetes(ECK)是一个 Elasticsearch Operator，但远不止于此。ECK 使用 Kubernetes Operator 模式构建而成，需要安装在您的 Kubernetes 集群内；借助 Elastic Cloud on K...
2024-05-08 18:51:07
1878
原创 K8S环境部署 seatunnel Web服务
说明Apache SeaTunnel 提供两种提交任务的方法：SeaTunnel Web：这是一种创建和提交 SeaTunnel 任务的可视化方法。命令行： SeaTunnel还提供了用于任务提交的命令行方法。关于 SeaTunnel Web开源 Web 控制台，用于管理您的 Seatunnel 脚本，并将它...
2024-04-09 18:05:12
640
原创 K8S环境部署 seatunnel 服务
说明SeaTunnel是一个非常易用、超高性能的分布式数据集成平台，支持海量数据的实时同步。每天可稳定高效同步数百亿数据，已被近百家企业应用于生产。为什么我们需要SeaTunnelSeaTunnel专注于数据集成和数据同步，主要旨在解决数据集成领域的常见问题：数据源多样：常用数据源有数百种，版本不兼容。随着新技术...
2024-04-09 17:17:54
588
原创 Jenkinsfile中去掉shell命令的调试信息
问题描述Jenkins的Console Output中有时会看到‘+’开头的shell命令调试信息，看起来比较混乱。原因是Jenkins默认用‘-xe’的选项去运行‘sh’命令。例如下面这样的。这种看着就头大。作为一个强迫症患者，咱必须解决掉！！！解决方法只需要在pipeline中定义一个方法。后面所有使用s...
2024-03-11 19:24:56
230
原创 LDAP添加 memberOf 模块
LDAP添加 memberOf 模块ldap的group是一种单独的类型objectClass: groupOfNames， 有个字段叫做member, value就是entry的dn。如此，实现了group-user的映射关系。group添加member的时候会自动给对应的entry添加memberof字段当...
2023-06-13 09:33:55
23
原创 Ubuntu安装Gitlab与备份恢复
gitlab分为gitlab-ce和gitlab-ee，gitlab-ce可以免费使用，因此此处用的是gitlab-ce。安装系统要求官方资料： https://docs.gitlab.com/ee/install/requirements.html硬件要求CPUCPU 要求取决于用户数量和预期工作负载。您...
2023-02-10 14:22:10
10
原创 启动GANGLIA报错：THERE WAS AN ERROR COLLECTING GANGLIA DATA (127.0.0.1:8652): FSOCKOPEN ERROR: CONNECTION...
问题启动ganglia后，web页面访问报错：There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error: Connection refused检查方法：1、查看启动的httpd、gmetad、gmond是否正常启动...
2022-11-01 17:29:02
7
原创 Hive 报错小结
Hive 查询报错：NoRouteToHost官方文档：https://cwiki.apache.org/confluence/display/HADOOP2/NoRouteToHostNo Route to HostIOException当网络上的一台机器不知道如何将 TCP 数据包发送到指定的机器时，您会收到...
2022-08-04 17:16:36
2391
原创 Hive 配置小结
显示表头和数据库信息进入hive cli后 执行以下命令：set hive.cli.print.header=true;因为在cli中set配置属性只是当次有效，如果想永久配置的话，将上述命令配置到hive/conf下的配置文件中##在hive-site.xml 中添加如下配置vim /etc/hive/co...
2022-07-27 17:47:54
882
原创 Amazon EMR 配置 Hive 对Hue用户的权限控制
Hue 创建用户后无权限访问Hive在hue中创建完用户后，还需要在主节点中创建这个user并在hive和hadoop中为这个user赋予权限，经过我这边的测试，步骤如下：Hue添加用户添加管理员用户##进入hue目录cd /usr/lib/hue/##创建超级用户sudo build/env/b...
2022-07-26 18:32:26
1812
原创 Amazon EKS 使用 EFS服务
先决条件安装Amazon CLI##amd64 架构安装curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"unzip awscliv2.zipsudo ./aws/install##arm64 架构...
2022-07-19 11:09:38
736
原创 Logstash 中filter常⽤语法
官方文档：https://blog.csdn.net/UbuntuTouch/article/details/100770828介绍grok插件grok插件有非常强大的功能，他能匹配一切数据，但是他的性能和对资源的损耗同样让人诟病。filter{ grok{ #只说一个match属性，他的...
2022-06-16 14:06:41
2115
原创 Hadoop 问题小结
任务无法提交查看Hadoop控制台 http://172.16.0.10:8088/cluster/scheduler ，发现内存只有50%使用率；排查登录master节点服务，yarn.scheduler.capacity.maximum-am-resource-percent 配置为 0.5 ，表示core的资...
2022-06-15 23:38:39
277
原创 ElasticSearch7 集群安装和配置
角色节点名ipmaster, data, voting_onlynode-master01172.28.254.221master, datanode-master02172.28.254.27master, datanode-master03172.28.253.227...
2022-05-21 20:41:46
2345
原创 Kubernetes 安装配置ingress controller
> 对于Kubernetes的Service，无论是Cluster-Ip和NodePort均是四层的负载，集群内的服务如何实现七层的负载均衡，这就需要借助于Ingress，Ingress控制器的实现方式有很多，比如nginx, Contour, Haproxy, trafik, Istio。几种常用的ingress...
2022-04-01 18:38:56
1369
原创 ELK 7 日志分析系统安装和配置
环境准备注：由于Logstash的运行依赖于Java环境， 而Logstash 1.5以上版本不低于java 1.7，因此推荐使用最新版本的Java。因为我们只需要Java的运行环境，所以可以只安装JRE，不过这里我依然使用JDK 1.1 平台环境：OS: Amazon Linux 2软件节点名...
2022-03-20 19:57:29
381
原创 部署Apache Doris
官方文档：https://doris.apache.org/zh-CN/installing/compilation.html一、编译使用 Docker 开发镜像编译(推荐)1.拉取镜像#下载 Docker 最新主干版本代码，会随主干版本不断更新。$ docker pull apache/incu...
2022-02-23 15:12:57
1543
原创 记服务器中招排查过程 (解决方案篇)
直观表现top, ps -ef 无异常进程load average 稳步飙升netstat 命令被删除尝试建立大量 22 端口，6379 端口的内网连接crontab 被添加定时wakuang脚本，删除无效传播途径Jenkins 漏洞 (or 弱密码？) 侵入尝试 root 用户 ssh 的免密登录...
2022-02-16 15:45:40
4
原创 Kubernetes 报错小结
一、The connection to the server localhost:8080 was refused - did you specify the right host or port?问题分析环境变量原因：kubernetes master没有与本机绑定，集群初始化的时候没有绑定，此时设置在本机的环境变...
2022-01-15 10:07:40
2417
3
原创 HDFS常用命令
hdfs 命令最常用的就是： hdfs dfs -[linux的命令]通过查看Hadoop的命令 与 hdfs 的命令并不相同，且不存在包含关系。仅仅是 hadoop fs 与 hdfs dfs 可以等价。hadoop 常用命令查看hadoop 命令所有参数：hadoophadoop checknative /...
2022-01-11 11:18:35
90
原创 kubectl 常用命令总结
参考资料https://kubernetes.io/zh/docs/reference/kubectl/overview/https://kubernetes.io/zh/docs/reference/kubectl/kubectl/kubectl 命令帮助# kubectl --helpkub...
2021-12-15 18:03:05
677
原创 【kubeadm初始化报错】failed to run Kubelet: misconfiguration: kubelet cgroup driver: systemd is different...
环境系统：Amazon Linux 2kubernetes：v1.23.0docker：20.10.7复现步骤1、通过 yum 或 rpm 安装 kubelet kubectl kubeadm，并 systemctl enable --now kubelet2、初始化 sudo kubead...
2021-12-14 18:42:48
8028
原创 Amazon Linux 2 安装Kubernetes
说明1. 节点规划部署k8s集群的节点按照用途可以划分为如下2类角色：master：集群的master节点，集群的初始化节点，基础配置不低于2C4Gslave：集群的slave节点，可以多台，基础配置不低于2C4G本例为了演示slave节点的添加，会部署一台master+2台slave，节点规划...
2021-12-09 13:56:27
1688
原创 Amazon Linux 搭建Zookeeper+Kafka集群
Zookeeper集群搭建系统信息Amazon Linux 2测试服务器信息10.2.19.108 kafka001-test-server10.2.30.162 kafka002...
2021-12-02 18:20:38
304
原创 rocketmq-exporter 安装配置
介绍RocketMQ-Exporter 项目的 GitHub 地址：https://github.com/apache/rocketmq-exporterRocketMQ 介绍RocketMQ 是一个分布式消息和流数据平台，具有低延迟、高性能、高可靠性、万亿级容量和灵活的可扩展性。简单的来说，它由 Broker...
2021-11-24 20:12:37
6
原创 Python+getopt实现命令行带参数
python中 getopt 模块，该模块是专门用来处理命令行参数的。目前有短选项和长选项两种格式：短选项格式为"-"加上单个字母选项；长选项为"--"加上一个单词。长格式是在Linux下引入的。许多Linux程序都支持这两种格式。在Python中提供了getopt模块很好的实现了对这两种用法的...
2021-11-16 13:52:01
1078
原创 单机伪集群部署ZooKeeper
在一台主机上跑多个zk实例，每个zk实例对应一个独立的配置文件；但是每个配置文件的clientPort & admin.serverPort & dataDir & dataLogDir绝对不能相同，还需要在dataDir中创建myid文件来指定该dataDir对应的zk实例。 安装Java登录后复...
2021-08-24 20:35:37
1
原创 Prometheus 通过 consul 实现自动服务发现
一、Consul 介绍Consul 是基于 GO 语言开发的开源工具，主要面向分布式，服务化的系统提供服务注册、服务发现和配置管理的功能。Consul 提供服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性保证等功能。在没有使用 consul 服务自动发现的时候，我们需要频繁对 Prometheus...
2021-07-22 11:24:49
244
原创 Prometheus 告警配置
添加报警规则配置警报规则 rules 使用的是 yaml 格式进行定义，在Prometheus中通过我们前面讲过的 PromQL 配置实际警报触发条件，Prometheus 会根据设置的警告规则 Ruels 以及配置间隔时间进行周期性计算，当满足触发条件规则会发送警报通知。在 prometheus.yml 文件中加载警报规...
2021-07-15 16:05:56
1
原创 Prometheus 介绍和使用
前言Prometheus(普罗米修斯)是最初在SoundCloud上构建的开源系统监视和警报工具包。自2012年成为社区开源项目，该项目拥有非常活跃的开发人员和用户社区。Prometheus 于2016年加入了 Cloud Native Computing Foundation (云原生云计算基金会，简称CNCF)，成为继Kubernetes之后的第二个托管项目。Exporter是一个采集...
2021-07-15 11:14:40
3314
原创 Centos7安装Gitlab最新版与备份恢复
本文安装gitlab版本为："build_version": "14.0.0"gitlab / gitlab-ce官网下载：https://www.gitlab.cc/downloads官网安装说明：https://doc.gitlab.cc/ce/install/requirements.html开源...
2021-06-23 18:56:01
803
原创 Centos 安装PostgreSQL
yum安装(postgresql12 为例)1、导入yum源sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm2、安装Postgre...
2021-06-23 11:44:04
199
原创 Centos 7 搭建Prometheus+Grafana监控系统
本文主要讲解Prometheus 配置过程，Grafana安装请转移此文档。平台[ root@opserver:~ ]# uname -aLinux opserver 3.10.0-1160.25.1.el7.x86_64 #1 SMP Wed Apr 28 21:49:45 UTC 2021 x86_64 x86...
2021-06-15 15:54:58
524
原创 Apache最新版安装和配置
Apache 安装当前官方 yum 源如 epel，base 的 Apache httpd 版本为 2.4.6-90，可以用 ius 这个第三方 yum 源，该源的特点是提供各类 rpm 包的最新版本。ius 源依赖于 epel 源，如果已经有了可以跳过这一步：rpm -Uvh https://mirror.web...
2021-05-24 18:43:27
611
原创 Nginx 配置密码
安装htpasswdhtpasswd 是开源 http 服务器 apache httpd 的一个命令工具，用于生成 http 基本认证的密码文件。yum -y install httpd生成用户名和密码使用下面命令，为用户testuser生成密码文件，密码需要控制台输入sudo htpasswd -c /etc/nginx...
2021-05-19 11:11:49
177
原创 ansible 变量介绍和使用
在ansible中使用变量，能让我们的工作变得更加灵活，在ansible中，变量的使用方式有很多种，变量名应该由字母、数字、下划线组成，变量名需要以字母开头，ansible内置的关键字不能作为变量名。定义变量1、使用vars关键字在playbook中定义变量，可以借助vars关键字，示例如下---- hosts: tes...
2021-05-17 09:17:27
1415
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人