- 博客(100)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 filebeat 收集 nginx 日志到 kibana 展示
首先是 nginx.conf 的日志格式json 格式很多，不一定非要这个log_format json '{ "access_time": "$time_iso8601", "remote_addr": "$remote_addr", "remote_user": "$remote_user", "request": "$request", "status": $status, "byte...
2023-09-28 10:49:00
96
原创 nacos2.0升级至nacos2.2.3安全漏洞修复
背景安全漏洞修复升级注意事项近期Nacos社区收到关于Nacos鉴权功能通过token.secret.key默认值进行撞击，绕过身份验证安全漏洞的问题。社区在2.2.0.1和1.4.5版本已移除了自带的默认值，并在token.secret.key未传入或非法时阻止Nacos节点启动来提醒用户设置自定义token.secret.key。考虑到现在的控制台登陆页面并没有进行模块化，无...
2023-06-15 17:48:00
497
原创 kafka 3.4.0 集群开启 sasl 认证
kafka集群记得装jdk搭建以下操作3台都要做下载安装包，解压cd /datawget https://mirrors.cloud.tencent.com/apache/kafka/3.4.0/kafka_2.13-3.4.0.tgztar zxvf kafka_2.13-3.4.0.tgz mv kafka* kafka#修改jvm参数sed -i 's/-Xmx1G -...
2023-05-16 10:59:00
171
原创 SLA探活工具EaseProbe简介
因为很喜欢这个工具，我想了几天，决定这样去介绍。需求：监控 http 接口可用性，及返回的字符串，返回 success 代表成功，返回 failure 则代表失败。监控 tcp 接口可用性监控 ssl 证书过期时间一个运维拿到这样的需求，会怎么做？安装 Zabbix，用 web 监控 去监控 http 接口，用 net.tcp.service[service,,] 监控 tc...
2023-02-21 09:54:00
69
原创 Prometheus blackbox 监控接口返回的字符串
在做接口监控时发现，即使是接口已经不可用了，但是由于 curl 这个接口返回的状态码还是 200，所以未发出告警。现在改为去监控接口返回的字符串。如下图所示：当接口不可用时，返回的字符串为 ["message":"出现异常”,code:500) ，而状态码还是 200，这个时候监控状态码已经失去意义了。这里使用 blackbox 里的 fail_if_body_not_matc...
2023-02-16 15:09:00
49
原创 shell 单个循环多个变量
使用 shell 批量生成 Prometheus 的自动发现文件。文件 aly@Fuck:/tmp$ cat file_a192.168.96.229:39100192.168.96.119:39100文件 bly@Fuck:/tmp$ cat file_bk8s主节点1k8s主节点2期望生成的文件：{ "targets": [ "192.168.96.229:391...
2023-02-09 15:17:00
33
原创 Prometheus Node_exporter增加认证
背景因安全需要，现在对 node_exporter 进行配置以支持 TLS 和 Basic Auth，顺便把 Prometheus 升级到最新版 2.40.4Node_exporter 1.0 以上版本才支持 TLS 和 Basic AuthNode_exporter 配置准备工作下载地址：wget https://github.com/prometheus/node_expor...
2023-02-06 16:10:00
268
原创 2023年最新版confluence7.19.4、jira9.4破解并使用Nginx代理
背景略安装jira准备两个目录，一个是 jira 的安装目录，一个是 jira 的 home 目录，数据都存在 home 目录/data/jira/data/jira_home下载，解压wget https://product-downloads.atlassian.com/software/jira/downloads/atlassian-jira-software-9.4.1...
2022-12-20 17:50:00
753
原创 jenkins 发布 go 镜像到 k8s
背景Jenkins 发布 go 镜像到 k8s 记录安装jenkins安装略过gogo 的官网国内无法访问，所以从国内拉取安装包。wget https://mirrors.ustc.edu.cn/golang/go1.18.8.linux-amd64.tar.gztar zxvf go1.18.8.linux-amd64.tar.gz -C /usr/localcat <...
2022-12-02 11:31:00
16
原创 nginx tls 1.2禁用弱算法
背景项目安全扫描出现的漏洞，记录一下修复过程。HTTPS 协议缺陷整改首先考虑 TLS 1.3 目前版本太新，兼容性未知，同时机房的 WAF 等安全设备是否支持该协议。先咨询机房得到回复，不支持 TLS1.3。同时在测试环境配置 Nginx 只保留 TLS 1.3。经过验证，业务不可用。退而求其次，使用 TLS 1.2，但将弱算法禁掉。如何区分哪些是弱算法呢？Mozilla 有提供...
2022-11-11 10:51:00
55
原创 Rsyslog 收集 Redis 及第三方日志简单记录
背景 现在服务器数量较多，经常需要做日志收集。耳熟能详的方案是 ELK 和后起之秀 Loki，但是有的时候项目组的资源有限，用这些方案稍显笨重，所以这时候需要操作系统自带的 Rsyslog 了。简单记录Rsyslog 通常操作系统自带，分为服务端和客户端，如何区分，主要是看配置。下面演示一下如何通过 Rsyslog 收集 Redis 的日志。服务端[root@l-rsj-wjfwq ...
2022-10-27 10:03:00
29
原创 Ubuntu 和 CentOS 的运维区别（长期更新）
介绍 Ubuntu 和 CentOS 一些日常使用区别。CentOS 的支持周期为 7-10 年Ubuntu 的 LTS 有5年的官方支持包管理器centosubuntuyum update -yapt update -yyum install git -yapt install git -yyum install xx.rpm -yapt insta...
2022-08-04 10:09:00
23
原创 基于gitlab 15.1 pages 搭建内部博客一定行版本
背景基于 gitlab 15.1版 pages 搭建内部博客，参考官方文档，遇到一个又一个坑。之前看到别人吐槽说 gitlab 官方文档很差，我算是理解了。下面一个个说。开始按照官方文档的说法，基于模板创建一个新项目。然后执行 CI/CD > Pipelines ，等任务执行完毕，到 Settings > Pages 就能访问到博客了。先说第一个坑，gitlab 提供的...
2022-07-26 11:42:00
19
原创 zabbix 6.0 使用 fping 批量监控 ip 地址
背景日常运维过程中，需要知道某个重要的ip或者网站响应时间以及ping包的丢包率，这就可以用到Zabbix的Template Module ICMP Ping模块来监控，需要监控多个第三方的ip地址，一个个去添加我是拒绝的，所以有了这篇文章。Zabbix 简单检查https://www.zabbix.com/documentation/current/zh/manual/config/it...
2022-06-07 15:35:00
115
原创 Loki收集Nginx日志并以grafana展示
背景公司一直用的是ELK来收集Nginx日志的，对于服务器较少的用elk则显得太重了，于是调研了一番，用loki+Promtail+grafana来测试一下。Loki类似elasticsearch，用于存储。Promtail类似fluent，用于收集，grafana类似kibana，用于展示先放几张图来展示一下成果：这里是用grafana查询日志Nginx 配置首先修改Nginx日志...
2022-06-01 16:51:00
42
原创 zabbix 6.0 使用zabbix agent 2自带模板监控 Redis
背景在以往使用zabbix监控Redis，都是在服务器上放置一个脚本去获取相应的数据进行监控。从zabbix 5.0推出zabbix agent2开始，可以直接监控Redis，无需外部脚本即可工作。这里我们使用zabbix 6.0来试一下。操作系统：Ubuntu 18.04.6 LTSzabbix ：zabbix 6.0安装把原来的zabbix-agent卸载，安装zabbix-age...
2022-03-28 10:53:00
55
原创 zabbix 6.0 使用 JavaScript 发出钉钉告警
背景听说 Zabbix 6.0 出 LTS 版本了，赶紧试试。同时从 Zabbix 4.4 开始支持使用自定义的 JavaScript 代码来配置钉钉告警了，不用跑到服务器上去放一个Python脚本设置一大堆权限了，说干就干。申请钉钉机器人略过注意关键字要和告警模板匹配Zabbix 6.0 安装略过配置钉钉告警钉钉机器人 access_token 为：https://oapi....
2022-03-21 11:20:00
48
原创 ingress nginx 笔记
背景记录一些常见用法，类似faq。前置条件全局变量ingress 配置一些全局的变量，比如 server-tokens: "false" ，有以下两种办法。修改 configmap，遵循 yaml 语法kubectl -n ingress-nginx edit cm ingress-nginx-controller# Please edit the object below....
2022-03-11 10:21:00
11
原创 centos7 编译安装git最新版本 2.34.1简单记录
安装依赖yum -y install libcurl-devel expat-devel curl-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker安装git下载地址：https://mirrors.edge.kernel.org/pub/software/scm/git/wget https://www.kernel....
2022-01-14 18:05:00
20
原创 docker搭建skywalking 8.7简明笔记
背景因项目组要求，使用docker搭建一套skywalking，下面简单记录一下。skywalking 分为服务端(oap-server)、客户端(agent)、浏览器端(ui)。大概工作流程是一个java工程启动后，由agent探针收集相关指标发送到oap-server，并且在ui展示出来。下面我们全部使用docker进行部署，skywalking版本为8.7.0-es7，因要使用ela...
2022-01-13 11:38:00
55
原创 NFS服务器的安全设置及性能调优
背景虽说现在到处是oss、minio、fastdfs的天下，但NFS对于很多公司来说，还是有其可取之处的，像我们的项目是一直在用的，今天好好研究下相关配置。安装略配置配置文件 /etc/exports，内容通常如下：directory machine1(option11,option12)directory要共享的目录。如 /data/machine1nfs客户端，就是哪些机...
2021-11-24 11:16:00
25
原创 elasticsearch7.15.1迁移索引记录
背景因业务需要将旧es单机所有索引及数据迁移至新es集群，网上调研了一番决定使用elasticdump官方主页：https://github.com/elasticsearch-dump/elasticsearch-dump过程安装使用nodejs开发的，需要先安装nodewget https://repo.huaweicloud.com/nodejs/latest-v14.x/no...
2021-11-12 16:57:00
10
原创 项目交付时遇到的一些问题及反思
在某地出差做实施的时候，把以前没遇到过的坑都遇到了，每天都在怀疑自己能力有问题。1.k8s pod网络不通。这个问题特别诡异，部署了两个pod，会有一个网络出现问题，ping 不通docker网关，ping不通svc地址，ping不通其他pod 的ip。pod-A通，pod-B不通。过几分钟变成了pod-A网络不通，pod-B网络通。尝试过的方法：最开始安装的是k8s1.18.16，使...
2021-11-03 10:53:00
24
原创 kafka2.8集群搭建及监控配置
背景业务需要搭建kafka集群及监控，kafka依赖于zookeeper集群，所以也一并记录下来。ip操作系统主机名用途192.168.0.19CentOS7zk1zookeeper集群192.168.0.36CentOS7zk2zookeeper集群192.168.0.18CentOS7zk3zookeeper集群192.168.0...
2021-09-09 11:07:00
15
原创 Harbor 1.8.2升级到2.3.2
不能跨版本升级。需要先从 1.8.2升级到1.10.x，然后再从1.10.x升级到2.3.2.参考官方文档即可。https://goharbor.io/docs/1.10/administration/upgrade/停止服务，备份。cd harbordocker-compose downmv harbor /my_backup_dir/harborcp -r /data/data...
2021-09-06 17:01:00
8
原创 使用阿里kube-eventer监控pod状态
简介生产环境资源不足，对pod做了limits限制，导致了pod经常重启，所以需要加个监控看看。kube-events请教大佬给了这样的工具，https://github.com/AliyunContainerService/kube-eventer在Kubernetes中，事件分为两种，一种是Warning事件，表示产生这个事件的状态转换是在非预期的状态之间产生的；另外一种是Norma...
2021-07-27 16:28:00
12
原创 k8s更新证书记录
手动更新证书由 kubeadm 生成的客户端证书默认只有一年有效期，我们可以通过 check-expiration 命令来检查证书是否过期：kubeadm alpha certs check-expiration备份原来的证书mkdir /etc/kubernetes.bakcp -r /etc/kubernetes/pki/ /etc/kubernetes.bakcp /etc/k...
2021-07-05 18:09:00
6
原创 sealos + NFS 部署 kubesphere 3.0
背景使用sealos+NFS部署一个带有持久化存储的k8s1.18.17，并在其之上部署kubesphere。sealos 简介https://github.com/fanux/sealos一条命令离线安装kubernetes，超全版本，支持国产化，生产环境中稳如老狗，99年证书，0依赖，去haproxy keepalived，v1.20支持containerd！NFS 简介没啥好说...
2021-03-31 11:43:00
27
原创 使用wireshark排除一例网络问题
背景开发反馈某个业务接口无法返回数据，怀疑是网络问题，让我看下咋回事。过程该接口共有3个请求，前面2个请求正常，第3个请求接口会报错，无法确定是哪边的问题，需要抓包确认下。由于是Windows，所以使用wireshark。时间节点：10点02分：开发运行程序，wireshark开始抓包。10点04分：程序报错：接口错误：connection reset{} java.net.So...
2021-03-16 11:26:00
41
原创 Prometheus监控Oracle数据库
背景本文简单介绍下，Prometheus如何通过exporters监控Oracle数据库，以及应该注意哪些指标。oracledb_exporteroracledb_exporter是一个连接到Oracle数据库并生成Prometheus metrics的应用程序，设置展示下如何安装和设置oracledb_exporter，以使用Prometheus来监控Oracle数据库。oracle...
2021-03-12 11:03:00
85
原创 记录一次清理挖矿病毒
背景新接手了个环境，同事交接时说这些机器中过挖矿病毒还没重装，我TM。。。线上环境不好动，只能手动查杀了。操作系统如下：[root@k8s-node7 ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core)过程ssh上去，ps -ef看到如下：手动kill掉进程，很快会生成新的，猜测有守护进程。用STOP信...
2021-03-10 11:08:00
16
原创 MySQL、MongoDB权限细化记录
背景经常需要给第三方开放数据库权限，由于是第三方，所以对于开放的权限需要细化到某个库的某个表，某个库的某个集合，以下记录一下。MySQL创建一个 xxxx 用户，对 xx 库的 yy 表有只读权限，语句如下：grant select on xx.yy to xxxx@'%' identified by 'xxxxxxxxxxxxxxx';当需要回收该权限时，语句如下revoke ...
2021-02-20 18:36:00
7
原创 CentOS 7下基于docker运行SQL server 2019（记录）
背景验收需要一些MS SQL Server的数据，由于我们只有Linux的机器，所以得在Linux下运行起来。成果如图：运行官方有现成的文档：https://docs.microsoft.com/en-us/sql/linux/quickstart-install-connect-docker?view=sql-server-ver15&pivots=cs1-bash拉取镜像...
2021-02-05 18:14:00
19
原创 2021年没有外网服务器，怎么下载gcr.io镜像？
背景部署 k8s 时经常遇到的难题：如何下载 gcr.io 的镜像？下面以 ingress-nginx:0.43.0 为例介绍踩过的坑及最终的解决办法。踩过的坑谷歌云注册谷歌云账户，通过控制台下载 ingress-nginx:0.43.0 镜像，重命名后上传回国内的镜像仓库，以供使用。亲测上传一个 282 MB 的镜像，阿里云镜像仓库，腾讯镜像仓库，一个小时还未上传完成，放弃。于是注...
2021-01-27 11:44:00
11
原创 Nginx1.19安装优化监控实时同步手册
环境如下：[root@xxxxx ~]# cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core)[root@xxxxx ~]# lsnginx-1.19.6 nginx-module-vts-master nginx-vts-exporter-0.10.7nginx-1.19.6.tar.gz ...
2020-12-30 14:43:00
14
原创 构建大规模Prometheus-第一部分
构建大规模Prometheus-第一部分最近需要实施一个Prometheus HA解决方案的项目。简单说下需求：他们有一个100多个节点的Kubernetes集群，他们想将数据尽可能保存更长时间。万一Prometheus挂了，他们没有备份节点他们也需要Prometheus的伸缩解决方案。解决方案对于HA部分，采用联邦集群机制，对于长期存储的话，考虑使用Thanos，但是在研究过程中发...
2020-12-28 20:30:00
10
原创 kubernetes1.20用containerd替换docker(shim)
kubernetes 1.20 要去掉对 Docker的支持，具体看这里，本篇文章介绍用 containerd 替换 docker，从work节点开始，然后才到master节点。首先查看集群[root@node1 ~]# kubectl get nodeNAME STATUS ROLES AGE VERSIONk8s-master Ready...
2020-12-25 16:27:00
8
原创 elasticsearch 频繁GC问题处理
收到ES的告警，在1小时内意外分配了碎片，从而导致集群状态 Green > Yellow > Red > Yellow > Green 频繁切换？在此期间，ES不可访问，并且调用API开始返回非200的状态码。环境3个主节点和3个工作节点。错误分析GC锯尺图这种锯尺模式的原因是，ELasticsearch在执行某些操作搜索查询，写入查询，刷新，刷新操作等，...
2020-12-25 09:48:00
25
MongoShake最新版，用于MongoDB数据迁移及同步
2022-09-27
redis-shake 3.0.0最新版
2022-09-08
polkit-0.112-18.el7.x86_64.rpm 修复polkit漏洞
2022-01-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人