xiaoleinb-CSDN博客

转载 MySQL8.0 Online DDL

● INPLACE:操作避免复制表数据，在操作的准备和执行阶段，可以简单地使用表上的独占元数据锁。1）Prepare阶段：初始化阶段会根据存储引擎、用户指定的操作、用户指定的 ALGORITHM 和 LOCK 计算 DDL 过程中允许的并发量，这个过程中会获取一个 shared metadata lock，用来保护表的结构定义。它以Block的方式管理DML记录的存放，一个Block的大小为由参数innodb_sort_buffer_size控制，默认大小为1M，初始化阶段会申请两个Block。

2024-02-29 18:14:47 430

转载 PostgreSQL从运维出发

从运维和硬件方面总结一点东西。

2024-02-28 15:27:35 78

原创 Prometheus+Consul 自助服务发现

Consul 是基于 GO 语言开发的开源工具，主要面向分布式，服务化的系统提供服务注册、服务发现和配置管理的功能。通过 Prometheus 实现监控，当新增一个 Target 时，需要变更服务器上的配置文件，即使使用 file_sd_configs 配置，也需要登录服务器修改对应 Json 文件，会非常麻烦。通过 API 注册node-exporter 服务信息到 Consul 中，服务地址及端口为 node-exporter 默认提供指标数据的地址。注意：服务注册到Consul的id不能相同。

2023-09-18 14:46:34 1089

原创 prometheus 告警

Prometheus中的告警规则允许你基于PromQL表达式定义告警触发条件，Prometheus后端对这些触发规则进行周期性计算，当满足触发条件后则会触发告警通知。默认情况下，用户可以通过Prometheus的Web界面查看这些告警规则以及告警的触发状态。当Promthues与Alertmanager关联之后，可以将告警发送到外部服务如Alertmanager中并通过Alertmanager可以对这些告警进行进一步的处理。一条典型的告警规则如下groups:rules:for: 10m。

2023-09-18 11:25:28 268

原创 Prometheus 基础入门

所有采集的监控数据均以指标(metric)的形式保存在内置的时间序列数据库当中(TSDB)。Exporter将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server，Prometheus Server通过访问该Exporter提供的Endpoint端点，即可获取到需要采集的监控数据。直接采集：Exporter直接内置了对Prometheus监控的支持，比如cAdvisor，Kubernetes，Etcd，Gokit等，都直接内置了用于向Prometheus暴露监控数据的端点。

2023-09-17 21:25:38 130

转载 MySQL 误操作后数据恢复（update,delete忘加where条件）

在数据库日常维护中，开发人员是最让人头痛的，很多时候都会由于SQL语句写的有问题导致服务器出问题，导致资源耗尽。最危险的操作就是在做DML操作的时候忘加where条件，导致全表更新，这是作为运维或者DBA的我们改如何处理呢？下面我分别针对update和delete操作忘加where条件导致全表更新的处理方法。一. update 忘加where条件误操作恢复数据(binglog格式必须是ROW)1.创建测试用的数据表mysql> create table t1 ( -> id int

2022-03-07 14:24:35 1282

转载 mysql死锁分析

如果我们的业务处在一个非常初级的阶段，并发程度比较低，那么我们可以几年都遇不到一次死锁问题的发生，反之，我们业务的并发程度非常高，那么时不时爆出的死锁问题肯定让我们非常挠头。不过在死锁问题发生时，很多没有经验的同学的第一反应就是成为一只鸵鸟：这玩意儿很高深，我也看不懂，听天由命吧，又不是一直发生。其实如果大家认真研读了我们之前写的 3 篇关于 MySQL 中语句加锁分析的文章：超全面 MySQL 语句加锁分析（上篇）（求转）超全面 MySQL 语句加锁分析（中篇）（求转）超全面 MySQL 语句加锁分

2022-02-08 17:28:28 256

原创 mydumper使用总结

mydumper 的安装依赖于mysql软件，要使用mydumper 则服务器上必须先安装mysqlmydumper 安装时会使用mysql软件的动态链接库文件，如果服务器上mysql版本发生了变化，那么mydumper 也需要重新安装使用mydumper 最好为不同的数据库提供不同的账户，并且导入的时候，尽量要在本地导入，不进行远程操作；即使用 myloader -S 参数这是因为mydumper 与myloader的命令格式非常相似，容易将mydumper 的-u -p -h -P..

2022-01-07 16:07:16 332

转载实例说明optimize table在优化MySQL时很重要

今天在看CU的时候，发现有人问有关optimize来表优化的问题，当年因为这个问题，困扰我很长一段时间，今天有空我把这个问题，用实际数据来展示出来，让大家可以亲眼来看看，optimize table的重要作用，而不是似是而非的估计了。一，原始数据1，数据量mysql> select count(*) as total from ad_visit_history;±--------+| total |±--------+| 1187096 | //总共有118万多条数据±--------

2021-05-20 11:32:28 570

转载 3-2 MySQL DBA笔记-迁移、升级、备份、恢复数据库

文章目录13.1 升级13.1.1 升级表结构或变更数据13.1.2 MySQL版本升级13.2 新业务部署上线13.3 迁移13.3.1 迁移步骤13.3.2 切换数据库时长短连接的影响13.4 生产环境常用的备份策略13.4.1 备份策略13.4.2 备份建议13.5 常用备份方式和恢复方法13.5.1 使用dd备份和恢复数据13.5.2 使用mysqldump备份和恢复数据13.5.3 使用Percona XtraBackup备份和恢复数据13.5.4 使用mysqlbinlog进行时间点恢复因为每

2021-05-17 14:39:49 545

原创 mysql锁监控及处理

CPU突然高达800%会是什么原因造成的，32核为例？最可能是锁的问题1、top –Hp 进程可以找到打满CPU的线程是哪个，对应的pid就是performance_schema.threads表中的thread_os_id，也就能找processlist_id，通过 show processlist 找到对应的执行用户窗口，找到相应用户信息，还可以通过performance_schema.events_statements_history 表找到对应执行的语句。2、%Cpu(s): sy u

2021-04-02 18:33:26 470 1

原创 k8s技术：k8s集群的安装和核心资源管理

文章目录1:k8s集群的安装1.1 k8s的架构图k8s系统架构组成介绍k8s逻辑架构1.2：修改IP地址、主机名和host解析1.3：master节点安装etcd1.4：master节点安装kubernetes1.5：node节点安装kubernetes1.6：所有节点配置flannel网络2:什么是k8s,k8s有什么功能?2.1 k8s的核心功能2.2 k8s的历史2.3 k8s的安装方式2.4 k8s的应用场景1:k8s集群的安装1.1 k8s的架构图除了核心组件，还有一些推荐的Add-on

2021-03-08 18:04:53 231 2

原创 prometheus: docker容器的监控

文章目录1.安装prometheus2.Prometheus邮件报警1.安装prometheus1.官方下载地址wget https://github.com/prometheus/prometheus/releases/download/v2.25.0/prometheus-2.25.0.linux-arm64.tar.gz上传压缩包[root@docker03 opt]# rz[root@docker03 opt]# lsprometheus-2.23.0.linux-amd64.tar

2021-03-06 11:33:15 321

原创 docker容器4：docker网络类型+跨主机访问

文章目录一.网络类型介绍1.查看支持网络类型2.测试使用种类网络类型3.网络类型设置3.1 bridge3.2 host3.3 none3.4创建自定义网络4.Docker跨主机网络介绍4.1 Docker跨主机访问-macvlan实现4.2.Docker 跨主机访问–overlay实现一.网络类型介绍1.查看支持网络类型docker network ls2.测试使用种类网络类型bridge 默认类型 NAT模式host host类型，使用宿主机网络，网络性能最高container

2021-03-05 22:02:28 260

原创 docker容器3：Docker构建registry

文章目录一、私有仓库docker-registry1.启动registry2.修改配置文件（#否则第一次上传镜像会报错）3.制作本地镜像一、私有仓库docker-registry主机docker01 10.0.0.11docker02 10.0.0.121.启动registry在docker01操作docker run -d -p 5000:5000 --restart=always --name registry -v /opt/myregistry:/var/lib/registry re

2021-03-04 19:59:15 271 1

原创 docker容器2：镜像制作

文章目录一、手动制作docker镜像1.制作一个基于centos7系统的nginx镜像(单服务)2.制作nginx+ssh双服务的镜像3.制作一个基于centos6系统的kod网盘的镜像(多服务)二、自动制作docker镜像三、docker镜像的分层(复用,节省空间)四、dockerfile的优化五、容器间的互联六、单机版的容器编排一、手动制作docker镜像1.制作一个基于centos7系统的nginx镜像(单服务)1：启动一个基础容器centos7docker run -it -p 80:80

2021-03-04 14:06:50 240 1

原创 docker容器1：docker安装及管理

文章目录一.Docker介绍1.容器的介绍及作用1.1 docker的提出1.2 dockers的简介1.3什么是容器1.4容器和虚拟机的区别二.Docker的安装部署1.docker的安装2.Docker体系结构3.docker镜像主要命令3.1 获取镜像3.2 镜像基本查看3.3镜像详细信息查看3.4只查看镜像ID3.5镜像的导入和导出3.6镜像的删除三.容器的管理1.运行第一个容器1.1 交互式的容器1.2 守护式容器1.3 容器的类型1.4 容器的启动\关闭\连接一.Docker介绍1.容器的介

2021-03-01 22:28:21 292

原创 OpenStack技术：介绍及安装（ocata版本安装）

openstack私有云文章目录1.虚拟化管理平台2.云计算发展历史3.openstack介绍4.openstack架构5.openstack集群环境准备5.1 yum源配置5.2安装基础服务5.3安装keystone5.4安装glance5.5.安装nova5.5.1控制节点5.5.2计算节点5.6安装neutron5.6.1控制节点5.6.2计算节点5.7安装horizon1.虚拟化管理平台kvm宿主机 500台kvm虚拟机 5000台kvm虚拟机的特点: 虚拟机内部不是透明的,容器内部

2021-02-25 21:58:17 1113

原创 kvm技术：kvm虚拟化的安装和应用

文章目录1：什么是云计算2：云计算的服务类型3：为什么要用云计算4：云计算的基础KVM虚拟化4.1：什么是虚拟化？4.2 ：linux虚拟化软件的差别4.3 安装kvm虚拟化管理工具4.4：安装一台kvm虚拟机4.5：kvm虚拟机的virsh日常管理和配置4.6：kvm虚拟机虚拟磁盘管理和快照管理4.6.1磁盘工具的常用命令4.6.2快照管理4.7:kvm虚拟机克隆4.7.1：完整克隆4.7.2：链接克隆4.8：kvm虚拟机的桥接网络4.8.1:创建桥接网卡4.8.2 新虚拟机使用桥接模式4.8.3 将已有

2021-02-23 21:18:30 783

原创 elasticsearch学习遇到的问题

问题1：systemctl status elasticsearchActive: failed (Result: exit-code) since Fri 2020-07-10 17:44:56 CST; 10s ago启动失败查看原因:tail -f /var/log/elasticsearch/elasticsearch.log[1] bootstrap checks failed[1]: memory locking requested for elasticsearch proc

2021-02-21 14:08:15 279 1

原创 elasticsearch技术2--集群

文章目录一.elasticsearch集群介绍1.简介2.集群状态颜色3.安装注意的内容二.elasticsearch集群安装部署1.配置（2台）2.查看3.操作指令4.配置（增加一台）5.操作指令一.elasticsearch集群介绍1.简介1.Elasticsearch可以横向扩展至数百(甚至数千)的服务器节点，同时可以处理PB级数据 Elasticsearch 天生就是分布式的，并且在设计时屏蔽了分布式的复杂性。2.Elasticsearch尽可能地屏蔽了分布式系统的复杂性。这里列举了一些在

2021-02-21 14:04:36 139

原创 elasticsearch技术1--介绍和基础操作

文章目录一.elasticsearch简介1.elasticsearch介绍2.Elasticsearch的功能3.Elasticsearcg的适用场景4.Elasticsearch的特点5.数据格式二.实验部署1.安装部署1.1 安装方式及其比较1.2 rpm安装2.重要配置文件3.elsticsrach配置文件4.修改配置重新启动5.修改ES配置文件支持跨域6.安装es插件三.ES简单命令1.创建索引1.1 实验11.2 实验21.3 实验31.4 实验42.过滤查询数据2.1 查询所有2.2 条件查询

2021-02-21 13:56:55 350

原创 redis学习遇到的问题-总结

问题1：[root@m02 redis_cluster]# redis-cli-bash: redis-cli: command not found解决方法：[root@m02 redis_cluster]# cd redis[root@m02 redis]# make install问题2：[root@m02 ~]# redis-cli -h db02Could not connect to Redis at db02:6379: Name or service not knownC

2021-02-20 17:10:31 250

原创 redis技术4-- Redis Cluster集群搭建和部署

文章目录一.集群介绍1.集群简介2.数据分布二.手动搭建部署Redis Cluster（第一种搭建集群的方法）1.目录规划2.集群拓扑3.手动搭建部署集群3.1 思路:3.2 环境准备3.3 实验配置4.手动配置节点发现5.Redis Cluster 通讯流程6.Redis Cluster手动分配槽位7.创建主从复制8.测试集群9.ASK路由介绍10.模拟故障转移三.使用工具搭建部署Redis Cluster（第二种搭建集群的方法）1.快速搭建集群2.工具扩容节点3.工具收缩节点4.忘记节点四.Redis集

2021-02-20 17:06:11 255 1

原创 redis技术3--Redis Sentinel哨兵

文章目录一.哨兵介绍1.哨兵的提出2.哨兵主要功能二.实验部署1.目录规划2.安装配置命令2.1 db01配置2.2 配置文件解释2.3 db02/db03操作3.配置主从关系4.启动哨兵5.配置文件的变化5.1 查看变化5.2变化总结6.哨兵常用操作API7.模拟故障转移7.1 自动故障转移7.2 手动指定主节点一.哨兵介绍1.哨兵的提出Redis的主从模式下，主节点一旦发生故障不能提供服务，需要人工干预，将从节点晋升为主节点，同时还需要修改客户端配置。对于很多应用场景这种方式无法接受。Senti

2021-02-20 16:50:32 154 1

原创 redis技术2--主从复制

文章目录一.主从复制介绍二.实验部署1.建立复制1.1 环境准备1.2 主从复制操作1.3 主从库比较1.4 主从复制流程2.断开复制三.局限性一.主从复制介绍在分布式系统中为了解决单点问题,通常会把数据复制多个副本到其他机器,满足故障恢复和负载均衡等要求.Redis也是如此,提供了复制功能.复制功能是高可用Redis的基础,后面的哨兵和集群都是在复制的基础上实现高可用的。二.实验部署1.建立复制主库：m01 10.0.0.51从库：m02 10.0.0.521.1 环境准备主库red

2021-02-20 16:40:41 55 1

原创 redis技术1--基本介绍和操作

文章目录@[一.Redis介绍]一.Redis介绍1.Redis简介1.Redis是一种基于键值对的NoSQL数据库,与很多键值对数据库不同,redis中的值可以有string,hash,list,set,zset,geo等多种数据结构和算法组成.2.Redis会将所有的数据都放在内存中,他的读写性能非常惊人.3.Redis可以将内存中的数据利用快照和日志的形式保存到硬盘上4.Redis还提供了键过期,发布订阅,事务,流水线等附加功能.2.Redis重要特性1.速度快Redis所有的数

2021-02-20 14:42:06 150

原创 zabbix学习4: 监控Java原理-zabbix性能优化-低级自动发现-zabbix api

20: zabbix监控java jvm原理tomcat weblogic jboss resintomcat：开启监控接口#安装tomcatrpm -ivh jdk-8u102-linux-x64.rpmmkdir /apptar xf apache-tomcat-8.0.27.tar.gz -C /app//app/apache-tomcat-8.0.27/bin/startup.sh#增加一行vim /app/apache-tomcat-8.0.27/bin/catalina.sh

2021-02-08 20:14:36 268 3

原创 zabbix学习3:监控-用户访问量监控自动发现和自动注册-主动和被动的区别-zabbix版本升级-分布式监控proxy

12:zabbix监控角度总结物理层：物理服务器物理交换机物理服务器：cpu温度，主板温度，功率，电压，风扇转速 ipmitool物理交换机：接口流量 snmp模板系统层：cpu，负载，内存，磁盘，网络，系统 zabbix自带模板应用层：nginx/lvs/haproxy/phpfpm/mysql/pgsql/tomcat/nfs/glusterfs... 模板监控业务层：网站访问速度，用户访问量pv\uv\ip,用户活跃度日活，周活，月活订单量，利润13: 用户访问量监控使用第

2021-02-08 19:55:50 275

原创 zabbix学习2：监控主机-自定义监控项-触发器-自定义报警-grafana出图-自定义监控模板

6∶监控一台服务器主机6.1 监控zabbix-serveryum install zabbix-agent -ysystemctl start zabbix-agent.servicesystemctl enable zabbix-agent.service6.2 监控其他linux主机添加监控前准备#安装rpm -ivhhttps://mirrors.tuna.tsinghua.edu.cn/zabbix/zabbix/5.0/rhel/7/x86_64/zabbix-agent2-5

2021-02-08 19:33:20 591

原创 zabbix学习1：zabbix-简单介绍和zabbix的安装

1:什么是监控?监视和控制，生活中的监控：事后追责运维中的监控：事后追责，事前预警，性能分析，实时报警2:常见的linux监控命令cpu,内存，磁盘，网络tophtopuptimefreevmstatiostatdfiftopnethogs3:使用shell脚本来监控服务器没有监控工具的时候，shell脚本+定时任务监控服务器[root@k8s ~]# cat mem_alter.sh#!/bin/bashMEM=`free -m|awk 'NR==2{print

2021-02-08 15:36:31 141

原创 ELK技术4：Kibana分析站点业务日志

12 Kibana分析站点业务日志12 Kibana分析站点业务日志1.kibana数据展示概述2.Kibana出图基本应用3.Kibana展示业务日志4.Kibana安全访问控制本章课程大纲1.Kibana配置介绍2.Kibana出图基本介绍3.Kibana分析Nginx日志4.Kibana分析业务日志1.kibana数据展示概述1.Kibana是用来数据展示、数据分析、数据探索的web UI工具。2.kibana线上部署的推荐架构，专门部署一个c..

2021-01-21 17:38:25 1029 1

原创 ELK技术3：Logstash 日志收集实践

08 Logstash 日志收集实践08 Logstash 日志收集实践1.Logstash架构介绍1.1 为什么需要Logstash1.2 什么是Logstash1.3 Logstash架构介绍2.Logstash Input插件2.1 stdin插件2.2 file插件2.3 beats插件2.3 kafka插件3.Logstash Filter插件3.1 Grok插件3.1.1 grok示例3.1.2 gr..

2021-01-20 14:46:56 349

原创 ELK技术2：日志收集实践（EFK）

日志收集实践filebeat是什么？Filebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装，Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash等进行索引。filebeat工作方式Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动harvester。每个harvester都读取

2021-01-19 20:14:19 430

空空如也

空空如也