- 博客(130)
- 收藏
- 关注
RSS订阅原创 服务器之各种压力测试-网络、硬盘、rocketmq等
网络测试-iperf安装工具yum install iperf -y服务端iperf -s -p 12345 -i 1 -M客户端iperf -c 服务端ip -p 12345 -i 1 -t 50 -w 20K结果如下:硬盘测试 hdparm安装工具yum install hdparm -y测试读硬盘hdparm -t --direct /dev/sdc测试写硬盘sync...
2023-04-28 09:52:00
61
原创 nginx配置http跳转https
nginx 状态码说明当使用 Nginx 将 HTTP 跳转到 HTTPS 时，HTTP 请求可能包含不同类型的方法(method)，如 GET、POST、PUT、DELETE 等。根据 HTTP 协议的规定，重定向(Redirection)的方式可能会影响请求方法的保持或者修改。以下是常见的 Nginx HTTP 跳转 HTTPS 的方式及其对请求方法的影响:301 Move...
2023-03-09 15:43:00
691
原创 k8s集群 etcd 备份与恢复
介绍k8s集群的备份与恢复，主要就是etcd集群的备份与恢复。ETCD一些基础查询操作查看集群状态二进制：ETCDCTL_API=3 etcdctl --cacert=/etc/kubernetes/cert/ca.pem --cert=/etc/etcd/cert/etcd.pem --key=/etc/etcd/cert/etcd-key.pem --endpoints=https...
2023-01-09 09:52:00
48
原创 k8s 备份与迁移k8s集群神器-Velero
前言一般来说大家都用etcd备份恢复k8s集群，但是有时候我们可能不小心删掉了一个namespace，假设这个ns里面有上百个服务，瞬间没了，怎么办？当然了，可以用CI/CD系统发布，但是时间会花费很久，这时候，vmvare的Velero出现了。velero可以帮助我们：灾备场景，提供备份恢复k8s集群的能力迁移场景，提供拷贝集群资源到其他集群的能力(复制同步开发，测试，生产环境的集...
2023-01-09 09:22:00
230
原创 分享-运维絶学
sar*** 前言 ***最近两几天因为面试问到如何查看历史负载的问题安装yum install -y sysstatsar命令使用格式：sar+ 命令行选项(可选) + 间隔时间(可选) + 次数(可选)常用命令:1.查询CPU可用 sar -u 和 sar -q 等来查看2. 查询内存可用 sar -B、sar -r 和 sar -W 等来查看3. 查询io可用 sar ...
2022-10-18 10:21:00
18
原创 prometheus exporter 各种服务 docker-compose文件
整理了一些prometheus exporter docker-compose文件配置node-exporter 服务器基础监控version: '2'networks: monitor: driver: bridgeservices: node-exporter: image: quay.io/prometheus/node-exporter ...
2022-09-28 15:17:00
31
原创 k8s nginx ingress 透传用户真实ip
背景业务应用经常有需要用到用户真实ip的场景，比如，用户ip记录与审计，ip限制等功能，通常，用户ip的传递依靠的是X-Forwarded-*参数。Ingress-Nginx默认会通过X-Forward-For和X-Real-IP来透传客户端IP，但是当客户端主动在请求头里指定了X-Forward-For和X-Real-IP，会导致服务端获取不到真实的客户端IP。修改配置修改命令空间： ...
2022-09-28 14:55:00
262
原创 k8s反亲和配置
背景pod 数量多，同时落在同一台k8s node机器上.WHAT亲和性：应用A与应用B两个应用频繁交互，所以有必要利用亲和性让两个应用的尽可能的靠近，甚至在一个node上，以减少因网络通信而带来的性能损耗。反亲和性：当应用的采用多副本部署时，有必要采用反亲和性让各个应用实例打散分布在各个node上，以提高HA。两种类型：requiredDuringSchedulingIgnored...
2022-09-28 14:41:00
31
原创 RocketMQ性能优化【实战笔记】
转发:https://cloud.tencent.com/developer/article/1496414目录一、系统优化1.最大文件数2.系统参数调整二、RocketMQ性能调优1.开启异步刷盘2.开启堆外内存设置3.开启文件预热4.开启Slave读权限5.关闭堆内存据传输一、系统优化1.最大文件数limits.conf 设置用户能打开的最大文件数vim /etc...
2022-09-26 15:20:00
85
原创 安装rocketmq DLedger 高可用集群
架构说明:RocketMQ Dledger 集群架构RocketMQ 4.5 以前的版本大多都是采用 Master-Slave 架构来部署，能在一定程度上保证数据的不丢失，也能保证一定的可用性。但是那种方式 的缺陷很明显，最大的问题就是当 Master Broker 挂了之后 ，没办法让 Slave Broker 自动 切换为新的 Master Broker，需要手动更改配置将 Slave...
2022-09-26 14:53:00
41
原创 安装elasticsearch中文分词ik插件
环境系统: centos 7.xelasticsearch: 7.4.0elasticsearch-analysis-ik分词： 7.4.0 (这个与es保持一致)目标关键字：支持查："管理"，"用户"，等名词与简单的句子下载 es ik插件wget https://github.com/medcl/elasticsearch-analysis-ik/releases/d...
2022-09-26 14:40:00
24
原创 python api gitlab迁移所有项目
1、 gitlab生成token (略)帐号后台生成toekn2、python拉取所有的gitlab项目代码如下: vim get_git_all.pyimport os,sysif sys.version_info < (3, 0): import urllibelse: from urllib.request import urlopen import...
2022-09-26 10:29:00
29
原创 shell curl 状态码与内容等脚本
shell脚本vim check_url.sh#!/bin/bashwhile true;do#echo "xxxx"da=`date +%F-%H-%M-%S`ret=`curl -o $da -s -w %{http_code}:%{time_connect}:%{time_starttransfer}:%{time_total} $1`echo "$da,$ret">...
2022-03-31 17:03:00
43
原创 docker时区问题-处理方法
1、docker时区问题1 运行时加参数docker run -e TZ="Asia/Shanghai"2 挂载时区文件docker run -v /etc/localtime:/etc/localtime3 dockerfile文件RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && e...
2022-03-31 16:08:00
31
原创 k8s-nfs pvc挂载报错--nfs-client-provisioner
k8s挂载nfs的问题：报错1：请在所有的k8s node节点安装：yum -y install nfs-utils报错2：kubectl logs nfs-client-provisioner-59fd564b9b-zkpbnKubernetes PVC一直处于Pending状态unexpected error getting claim reference: selfLink...
2021-12-23 15:42:00
106
原创 Docker容器日志查看与清理
参考: https://blog.csdn.net/yjk13703623757/article/details/80283729使用场景docker容器日志导致主机磁盘空间满了。docker logs -f container_name噼里啪啦一大堆，很占用空间，不用的日志可以清理掉了。查看日志文件在linux上，容器日志一般存放在/var/lib/docker/containers/...
2021-09-14 12:57:00
54
原创 sentry磁盘占用过大如何清理历史数据
引用：https://www.phpmianshi.com/?id=1821、SENTRY数据软清理 (清理完不会释放磁盘，如果很长时间没有运行，清理时间会很长)Bash登录worker容器docker exec -it sentry_onpremise_worker_1 /bin/bash保留多少天的数据，cleanup使用delete命令删除postgresql数据，但对于dele...
2021-09-09 19:51:00
35
原创 运维（SA）修仙 之路 II
2021.8.9--------运维技术栈-修仙 之路II -----监控:zabbix, prometheus, grafana, skywalking日志：elk, sls缓存：redis, kafka应用层：php, java，tomcat网关：nginx, openresty容器：docker, k8s开发：shell, python, go公有云: 阿里云，腾讯云配...
2021-08-09 14:09:00
17
原创 分享好文章-Ansible 进阶技巧
Ansible 进阶技巧原文 http://www.ibm.com/developerworks/cn/linux/1608_lih_ansible/index.html?ca=drs-简介#Ansible 是一个系统自动化工具，可以用来做系统配管理，批量对远程主机执行操作指令。我自己使用 Ansible 也有一段时间了，这里总结了一些使用 Ansible 过程中使用的心得与大家分享。...
2021-07-10 00:07:00
13
原创 分享mysql db 分区分表的shell
分享db 分区分表的shell16库与表 输出0到f##输出0到f#/bin/bashfor table in {0..15};do printf "%x\n" $tabledone结果：0123..f#/bin/bash#输出00-ff 256表for table in {0..255};do printf "%02x\n" $tabledone...
2020-11-06 16:41:00
15
原创 nginx 反向代理 502--upstream sent too big header while reading response header from upstream
发现报错：502--upstream sent too big header while reading response header from upstream解决 修改nginx.conf：proxy_buffer_size 16k; #调大proxy_buffers 8 32k; #调大说明 ：nginx 缓冲区设置 proxy_buffersproxy_buffe...
2020-08-27 18:48:00
16
原创 docker 部署 php-fpm nginx 502 （Resource temporarily unavailable）
docker php-fpm Resource temporarily unavailable环境：nginx + php-fpmcentos xxxdocker xxx前提是php-fpm 走的是socket，tcp不用有这问题切入docker 用ab 压测300 发现有失败的请求nginx erro:2020/06/17 17:49:11 [error] 23#0: *1...
2020-06-19 14:54:00
28
原创 转--Centos7创建LVM磁盘管理
转--https://www.jianshu.com/p/accff9ea7b15环境介绍在centos7下需要挂载两个新的磁盘。为了方便后续的扩容方便，决定将这其设置为LVM管理的方式。查看一下当前有哪些新增的数据盘，如下：[root@runsdata-test-0004 ~]# df -hFilesystem Size Used Avail Use% Mounted o...
2020-02-05 15:35:00
19
原创 elasticsearch拼音分词和IK分词的安装及使用
elasticsearch 安装分词插件1.IK分词器的下载安装es : v5.5.3关于IK分词器的介绍不再多少，一言以蔽之，IK分词是目前使用非常广泛分词效果比较好的中文分词器。做ES开发的，中文分词十有八九使用的都是IK分词器。下载地址:https://github.com/medcl/elasticsearch-analysis-ik./elasticsearch-plugin...
2020-01-06 14:41:00
11
原创 nginx 平滑升级
nginx平滑升级目标： 旧版本 升级 新版本nginx# wget nginx.tgz && tar zxvf nginx.tgz# cd nginx# ./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_stub_status_module --with-http_v2...
2019-09-10 19:52:00
19
原创 nginx nginx_upstream_check_module自动踢除后端机器
nginx 1.14.0描述：nginx自带的upstream配置，如果后端挂了，接口会慢，原因不讲述，故接入第三方的自动检测与自动踢除模式nginx_upstream_check_module模块：*** 下载地址https://github.com/yaoweibin/nginx_upstream_check_module ***wget 'http://nginx.org/dow...
2019-09-09 10:56:00
19
原创 github打开慢，甚至打不开
有人使用github后，在某些网络下发现打开慢，甚至打不开，这都是因为他是国外站；目前互联网的连接机制导致超过一定的路由节点的连接就会出现这个问题，解决办法就是直接告诉本机ip。不要先层层询问域名转ip，这样速度和连接的速度都可以进一步的大副提升，所以将下面的内容帖到本机的hosts文件中，你就有可能见证奇迹~192.30.253.112 github.com 192.30.253.119 ...
2019-07-16 18:24:00
13
原创 在使用confluent-kafka-go 时遇到如下问题
问题$ go build t.go# pkg-config --cflags rdkafkaPackage rdkafka was not found in the pkg-config search path.Perhaps you should add the directory containing `rdkafka.pc'to the PKG_CONFIG_PATH envir...
2019-07-16 10:20:00
32
原创 Istio Routing极简教程
官网文档：https://istio.io/docs/reference/config/networking/#VirtualService在学习像Istio这样的新技术时，看一下示例应用程序总是一个好主意。 Istio repo有一些示例应用程序，但它们似乎有各种不足。 文档中的BookInfo是一个很好的示例。 但是，对于我而言，它太冗长，服务太多，而且文档似乎专注于管理BookInfo...
2019-06-20 19:12:00
12
原创 kubelet证书过期解决方法
昨天收到报警短信：集群中某node状态为notReady，由于是长期不用的，所以放到今天才有空处理，以下记录处理过程。查看kubelet日志，发现不停的打印证书过期相关提示信息。以下操作基于kubernetes集群版本：v1.6.6kubelete 证书默认有效期一年1.查看证书有效期，这里使用以前下载的cfssl-certinfocurl -s -L -o /usr/local/bi...
2019-06-18 15:26:00
20
原创 工具类docker for k8s
alpine-tools 安装了常用 工具，curl,telnet, wget 等apiVersion: extensions/v1beta1kind: Deploymentmetadata: name: alpine-tools namespace: defaultspec: replicas: 2 template: metadata: label...
2019-06-17 11:16:00
12
原创 docker Dockerfile实战
目录Dockerfile实战基础pm2 Dockerfilekeymetrics/pm2:8-alpinekeymetrics/pm2:12-alpinepm2 node Dockerfilenginx Dockerfilenginx php-fpm Dockerfilejava Dockerfilejdk DockerfileDockerfile实战基础pm2 Dockerfilekey...
2019-05-22 14:06:00
21
原创 Kubernetes 遇到的问题
Kubernetes 遇到的问题k8s 版本k8s v1.13.5docker 18.09.2问题一kubelet 报错May 22 10:14:42 test-ops-k8s-03 kubelet: E0522 10:14:42.873650 19795 kubelet_volumes.go:154] Orphaned pod "ed306153-6faf-11e9-9d2...
2019-05-22 10:29:00
21
原创 lograotate 配置常用配置
目录lograotate 配置说明nginx php-fpm tomcat 配置各种参数说明lograotate 配置说明Linux系统默认安装logrotate工具，它默认的配置文件在：/etc/logrotate.conf/etc/logrotate.d/logrotate是基于CRON来运行的，其脚本是「/etc/cron.daily/logrotate#!/bin/sh/u...
2019-05-20 14:16:00
12
原创 mysql Duplicate entry '9223372036854775807' for key 'PRIMARY'
mysql插入数据报错提示：ERROR 1062(23000) Duplicate entry '9223372036854775807' for key 'PRIMARY'发现问题果断 直接 把字段改成无符号的类型UNSIGNED7.BIGINT[(M)] [UNSIGNED] [ZEROFILL] M默认为20大整数。带符号的范围是-9223372036854775808到922...
2019-05-10 22:40:00
27
原创 Helm 常用命令及操作
Helm 常用命令查看版本#helm version查看当前安装的charts#helm list查询 charts#helm search redis安装charts#helm install --name redis --namespaces prod bitnami/redis查看charts状态#helm statusredis删除charts#helm d...
2019-05-10 22:04:00
11
原创 Kubernetes Dashboard 安装与认证
1、安装dashboard$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml(images地址记得改掉，因为墙，你懂得)1.2, 配置ingress 映像域名xxx.dashboa...
2019-05-08 20:05:00
11
原创 kubernetes-harbor 私有仓库 帐号与密码 配置
如harbor地址: harbor.qing.cn#docker login harbor.classba.cn#cat /root/.docker/config.json | base64#cat sert.yamlapiVersion: v1kind: Secretmetadata: namespace: default name: harbor.qing.cn.k...
2019-05-08 18:25:00
22
原创 cloudstack4.11 centos7 安装文档
centos 7.x cloudstack 4.11提示：生产环境 建议用ceph 块存储为主存储, 这里测试使用的是nfs主存储组件172.16.19.116cloudstack-managementnfs,mysql,cloudstack-management172.16.19.170cloudstack-agentkvm,cloudstack-...
2019-04-18 17:46:00
19
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人