马哥门徒N57-SRE第一周

最新推荐文章于 2022-12-26 10:37:26 发布
最新推荐文章于 2022-12-26 10:37:26 发布
阅读量220 收藏
点赞数
分类专栏： 马哥门徒 SRE 文章标签： 数据库 mysql memcached
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42932910/article/details/117591346
版权

1、总结mysql常见的存储引擎以及特点。

MyISAM引擎

MyISAM引擎特点

  • 不支持事务
  • 表级锁定
  • 读写相互阻塞，写入不能读，读时不能写
  • 只缓存索引
  • 不支持外搜约束
  • 不支持聚簇索引
  • 读取数据较快，占用资源较少
  • 不支持MVCC（多版本并发控制机制）高并发
  • 崩溃恢复性较差

MyISAN存储引擎适用场景

  • 只读（或者写较少）
  • 表较小（可以接受长时间进行修复操作）

MyISAM引擎文件

  • tbl_name.frm 表格式定义
  • tbl_name.MYD 数据文件
  • tbl_name.MYI 索引文件

InnoDB引擎

InnoDB引擎特点

  • 行级锁
  • 支持事务，适合处理大量短期事务
  • 读写阻塞与事务隔离级别相关
  • 可缓存数据和索引
  • 支持聚簇索引
  • 崩溃恢复性更好
  • 支持MVCC高并发
  • 从MySQL5.5后支持全文索引
  • 从MySQL5.5.5开始为默认的数据库引擎

InnoDB数据库文件

  • 数据文件：Ibdata1,ibdata2,存放在datadir定义目录下
  • 表格式定义：tb_name.frm，存放在datadir定义的每个数据库对应的目录下

其他的存储引擎

memory

  • 所有数据都保存在内存中
  • Memory 表的结构在重启以后还会保留，但数据会丢失

archive

  • 针对高写入压缩做了优化的简单引擎
  • 适合日志和数据采集应用

blackhole

  • 没有实现任何存储机制，它会舍弃所有写入数据，但是服务器会记录 Blackhole 表的日志。(不推荐)

federated

  • 访问其他 MySQL 服务器的一个代理，默认禁用。

2、MySQL日志各类总结。

事务日志：transaction log

  • Redo log：实现WAL（Write Ahead Log）,数据更i性能前先记录redo log
  • Undo log：保存与执行的操作相反的操作，用于实现rollback

事务日志性能优化：

  • 1 次维默认值，日志缓冲区将写入日志文件，并在每次事务后执行刷新到磁盘。
  • 0 提交时没有写磁盘的操作；而是每秒执行一次将日志缓冲区的提交的事务写入刷新到磁盘。这样可提供更好的性能，但服务器崩溃可能丢失最后一秒的事务
  • 2 每次提交后都会写入OS的缓冲区，但每秒次才会进行一次刷新到磁盘文中。性能比0略差一些，但操作系统活停电可能导致最后一秒的交易丢失。

>show variables like ‘%innodb_log%’;

>show variables like ‘innodb_flush_log_at_trx_commit’;

错误日志：

  • mysqld启动和关闭过程中输出的事件信息
  • mysqld运行中产生的错误信息
  • Event scheduler 运行一个event时产生的日志信息
  • 在主从复制架构中的从服务器上启动从服务器线程时产生的信息
  • Log_error,Log_warnings

>show global variables like ‘log_error’;

通用日志

  • 通用日志：记录对数据库的通用操作，包括：错误的SQL语句
  • 通用日志可以保存在：file（默认值）或table
  • 通用日志相关设置

General_log=ON|OFF

General_log_file=HOSTNAME.log

Log_output=TABLE|FILE|NONE

# vim /etc/my.cnf.d/server.cnf

慢查询日志

  • 慢查询日志：记录执行查询时长超出指定时长的操作
  • 慢查询相关变量

Slow_query_log=ON|OFF

Long_query_time=N

Slow_query_log_file=HOSTNAME-slow.log

Log_slow_filter=admin,filesort,filesort_on_disk,full_join,full_scan,query_cache,query_cache_miss,tmp_table,tmp_talbe_on_disk

Log_queries_not_using_indexes=ON

Log_slow_rate_limit=1

Log_slow_verbosity=Query_plan,explain

Log_slow_queries=OFF

  • 慢查询分析工具mysqldumpslow,profile

二进制日志（备份）

  • 记录导致数据改变或潜在导致数据改变的SQL语句
  • 记录已提交的日志
  • 不依赖于存储引擎类型
  • 功能：通过“重放”日志文件中的事件来生成数据副本
  • 注意：建议二进制日志和数据文件分开存放

二进制日志记录三种格式

  • 基于“语句”记录：statement，记录语句，默认模式，日志量较少
  • 基于“行”记录：row，记录数据，日志量较大，更加安全，建议适用的格式
  • 混合模式：mixed,让系统自行判定该基本那种方式进行，默认模式。

二进制日志文件的构成

  • 日志文件
  • 索引文件

二进制日志相关的服务器变量：

Sql_log_bin=ON|OFF;

Log_bin=/PATH/BIN_LOG_FILE;

Binlog_format=STATEMENT|ROW|MIXED;

Max_binlog_size=1073741824;

Binlog_cache_size=4m

Max_binlog_cache_size=512m

Sync_binlog=1|0;

Expire_logs_days=N;

二进制日志管理工具

Mysqlbinlog,   

>show variables like ‘binlog_format’;

# vim /etc/my.cnf.d/server.cnf

3、主从复制及主主复制的实现

主从复制的作用

  • 做数据的热备，作为后备数据库，主数据库服务器故障后，可切换到从数据库继续工作，避免数据丢失。
  • 架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能。
  • 读写分离，使数据库能支撑更大的并发。在报表中尤其重要。由于部分报表sql语句非常的慢，导致锁表，影响前台服务。如果前台使用master，报表使用slave，那么报表sql将不会造成前台锁，保证了前台速度

主从复制及其原理

  • 什么是主从复制？

主从复制，是用来建立一个和主数据库完全一样的数据库环境，称为从数据库；主数据库是业务数据库， 从库相当于主库的备份。

  • 主从复制原理（实现过程）

步骤一：主库db的更新事件(update、insert、delete)被写到主库的binlog

步骤二：从库发起连接，连接到主库

步骤三：此时主库创建一个binlog dump 线程，把binlog的内容发送到从库

步骤四：从库启动之后，创建一个I/O线程，读取主库传过来的binlog内容并写入到relay log

步骤五：从还会创建一个SQL线程，从relaylog里面读取内容，从Exec_Master_Log_Pos位置开始执行读取到的更新事件，将更新内容写入到slave的db

简单来说就是：主库db的更新事件被写入到主库的bin-log；从库读取主库的bin-log，并将bin-log的内容写到到自己的relad log；从库读取relady log，解析成sql语句，将更新的内容写到的从库的db。

  • 主从复制存在的问题及解决办法

mysql主从复制存在的问题：

主库宕机后，数据可能丢失

从库只有一个sql Thread，主库写压力大，复制很可能延时

解决方法：

半同步复制—解决数据丢失的问题 （5.5集成到mysql，以插件的形式存在，需要单独安装。事务在主库写完binlog后需要从库返回一个已接受，才返回给客户端；确保事务提交后binlog至少传输到一个从库。但是性能有一定的降低。）

并行复制—-解决从库复制延迟的问题

MySQL主从复制搭建

  • 1、一主一从
  1. 先准备两台服务器:主从
  2. 在两台服务器上面安装MySQL，启动服务并设置服务开机自起
  3. 在主服务器上授权，从服务器保存授权的信息之后在从服务器会产生授权信息文件master.info.
  4. 开启从服务器start slave
  5. 在主服务器上创建数据库，在从服务器上会同步出现；在从服务器上创建个表，在主服务器上不会查看到。
  • 主主复制
  1. 先准备两台服务器：
  2. 配置主配置文件/etc/my.cnf：开启二进制日志和其他内容
  3. 重启服务
  4. 在主服务器A上授权，在从服务器B上保存授权信息：
  5. 在主服务器B授权，在从服务器A上保存授权信息：
  6. AB都执行start slave

4、xtrabackup实现全量+增量+binlog恢复库

  • 安装

#yum install  -y percona-xtrabackup*

  • 进行备份操作

#xtrabackup -uroot --backup --target-dir =/backup/

#scp -r /backup/*  root@172.16.0.71:/backup

  • 恢复测试

#mkdir /backup

#scp -r root@172.16.0.71:/backup /backup/

# xtrabackup --prepare --target-dir=/backup/

# xtrabackup --copy-back --target-dir=/backup/

# chown -R mysql:mysql /var/lib/mysql

  • 增量备份

# xtrabackup -uroot  --backup --target-dir=/backup/base

# xtrabackup -uroot --backup --target-dir=/backup/inc1 --incremental-basedir=/backup/base

  • 增量备份恢复

#xtrabackup --prepare --apply-log-only --target-dir=/backup/base

#xtrabackup --prepare --target-dir=/backup/base --incremental-dir=/backup/inc1

# xtrabackup --copy-back --target-dir=/backup/base

# chown -R mysql:mysql /var/lib/mysql

# systemctl start mariadb

梧桐翁
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
2023马哥Linux云计算sre就业+架构学习笔记
2301_80019215的博客
11-09 854
Linux云计算sre之Ansible工具学习：(Ansible作为一款强大而又易用的自动化工具，在Linux云计算领域具有广泛的应用。本文将介绍如何在Linux系统上安装Ansible，以及探讨一些常见的Ansible模块和它们的用途。
马哥门徒N57-SRE第二周
梧桐翁的博客
06-14 324
MyCAT中间件服务实现读写分离 第一步：完成Mariadb （Mysql）主从复制 创建主从数据库 A配置master服务器 配置my.cnf设置server-id [root@centos7~]#yum install mariadb-server -y [root@centos7~]#vim /etc/my.cnf [mysqld] server-id=8 log-bin 启动数据库 [root@centos7~]#systemctl start mariadb 创建...
马哥教育SRE笔记【作业】week05
u011100251的博客
05-24 734
week05 1、简述DNS服务器原理，并搭建主-辅服务器 (1)DNS原理 客户机向本地DNS服务器发起DNS查询(递归查询),请求某域名的IP地址 本地DNS服务器向其他DNS服务器发起迭代查询 本地DNS向根域名服务器查询,根服务器如果没有则返回一级域名服务器地址 本地DNS向一级域名服务器查询,如果没有则返回二级域名地址 本地DNS逐级查询,直到找到该请求域名的解析地址 将解析到的地址放到缓存 从缓存读给客户机 有其他用户访问该域名时直接从缓存读取地址 (2)搭建主-辅服务器 环境: 新建
马哥SRE--第十九周
Q先生
11-23 760
1、haproxy https实现 2、总结tomcat的核心组件以及根目录结构 3、tomcat实现多虚拟主机 4、nginx实现后端tomcat的负载均衡调度 5、简述memcached的工作原理
马哥教育SRE第五周作业
Q先生
08-02 372
第五周 1、简述osi七层模型和TCP/IP五层模型 https://blog.csdn.net/qq_29974229/article/details/119322041 2、总结描述TCP三次握手四次挥手 https://blog.csdn.net/qq_29974229/article/details/119321478 3、描述TCP和UDP区别 https://blog.csdn.net/qq_29974229/article/details/119322211 4、网卡绑定bond0的实现 ht
马哥SRE第11周课程作业
qq_46229380的博客
12-26 926
ansible role lnmp zabbix
马哥门徒N57-SRE第八周
梧桐翁的博客
09-26 165
1、haproxy + nginx 实现四、七层IP透传 HAProxy在四层的工作原理 在四层负载设备中，把client发送的报文目标地址(原来是负载均衡设备的IP地址)，根据均衡设备设置的选择web服务器的规则选择对应的web服务器IP地址，这样client就可以直接跟此服务器建立TCP连接并发送数据。　　 haproxy在四层的工作流程分为两个阶段:　　　　 第一阶段:client发送http请求报文到haproxy，haproxy由于工作在第四层，因此通过拆包可以查看到TCP/IP包头信息，hapr
马哥门徒N57-SRE第六周
梧桐翁的博客
09-02 299
1、实现harbor的高可用（16天） 实施拓扑 准备设备 135、136安装步骤 140、141安装步骤 创建复制过程135–》136 新建项目 仓库管理-新建目标 复制管理–》新建规则 完成复制 做136–》135复制。完成双向。 上传镜像观察是否可以双向同步。 2、几种IO模型的原理 阻塞IO(blocking IO) 当进程（用户空间）调用recvfrom命令，其系统调用将会一直阻塞，直到recvfrom命令返回或执行过程报错。具体阻塞过程分为：等待数据到达内核空间，数据从内核空间复制到用
马哥教育N48-第十二周作业
weixin_46611097的博客
11-13 370
1、配置chrony服务，实现服务器时间自动同步 1、准备工作： 服务器端: 192.168.37.7 系统：centos7 客户端：192.168.37.6 系统： centos6 2、安装软件，启动服务 yum install chrony systemctl start chronyd systemctl enable chronyd 3、对chrony的配置文件进行修改，配置服务器端 vim /etc/chrony.conf 指定上层NTP服务器为阿里云提供的公网NTP服务器 server
马哥python课堂笔记-马哥教育PYTHON相关基础笔记.pdf
06-14
在马哥教育的PYTHON相关基础笔记中，我们看到几个关键知识点： 1. **推荐书籍**：学习Python时，有几本经典教材值得参考，包括《Python Cookbook》、《Learn Python the Hard Way》、《Google's Python Class》以及...
M哥linux2016版视频课堂文档汇总
07-19
M哥linux2016版面授视频课堂文档汇总 ，M哥linux2016版面授版视频课堂文档汇总，M哥视频课堂文档汇总，完整版M哥linux2016版视频课堂文档汇总，M哥linux2016版同步笔记，M哥linux2016版课堂同步笔记，M哥linux2016运维同步笔记，M哥linux2016完整运维同步笔记
磁盘管理_马哥sre课程笔记
02eva的博客
08-18 203
磁盘管理
马哥SRE课程第一周作业
qq_46229380的博客
08-01 690
严格程度要开始创建分区，请单击加(+)号，如下图所示指定/boot分区及其所需容量，点击“Addmountpoint”。这样，新创建的/boot分区将会出现在分区表上，如图所示。我们可参考创建的/boot分区的操作步骤，来依次创建/（root）分区及Swap挂载点，待所有分区创建完毕后，单击“Done”按钮，以保存在硬盘驱动器上所做的更改。在出现的弹出警报中，单击“AcceptChanges”按钮将分区写入磁盘。帮助使用方法type查看命令是否是内置的命令，如果是用help。...
马哥SRE第五周课程作业
qq_46229380的博客
09-13 635
配置文件格式说明：/etc/sudoers, /etc/sudoers.d/配置文件中支持使用通配符 glob?任意单一字符* 匹配任意长度字符[wxc] 匹配其中一个字符[!wxc] 除了这三个字符的其它字符\x 转义[[alpha]] 字母格式说明：user: 运行命令者的身份host: 通过哪些主机(runas)：以哪个用户的身份command: 运行哪些命令sudoers的别名User和runas:username#uid%#gid。
马哥SRE第四周课程作业
qq_46229380的博客
08-29 528
要求尽量的覆盖各种场景 比如每周三凌晨三点执行date命令 二. 图文并茂说明Linux进程和内存概念 进程：将程序动态的运行起来，就转成进程，（即程序的执行过程）过程： 包含进程的创建，进程的运行以及进程消亡。 进程一般由程序、数据集合和进程控制块三部分组成。 进程一般包含两种，前台进程和后台进程。内存：是运行进程的空间，CPU待处理的数据和运行的程序暂时存储的空间。 进程与线程的区别CentOS6启动流程CentOS7以后启动流程 五. 写Linux内核编译安装博客 awk函数...
马哥SRE第十周课程作业
qq_46229380的博客
12-02 1145
zabbix、ansible干货
马哥SRE第九周课程作业
qq_46229380的博客
11-21 1438
nginx、jumpserver、tomcat
马哥门徒N57-SRE第七周
梧桐翁的博客
09-23 253
1、lnmp安全加固总结 基于nginx web容器安全加固的思考 nginx作为优秀的正反向代理web服务器，多线程，高并发等特点。顺便记下正反向代理，代理客户端就是正向，反之代理服务端就是反向代理。另外正向代理可以作为上网行为管理；反向代理除了负载均衡，暴露的是代理服务器在公网的IP，隐藏了内网web服务器。 对于nginx每修改一次记得备份重启一次。推荐平滑重启nginx -s reload a.限制目录访问 vi /etc/nginx/nginx.conf 在HTTP模块增加 autoindex o
马哥教育SRE笔记【作业】week02
u011100251的博客
04-10 688
1、请总结描述用户和组管理类命令的使用方法并完成以下练习： (1)、创建组distro，其GID为2019； [root@centos83localdomain data]#groupadd -g 2019 distro # 验证 [root@centos83localdomain data]#getent group distro distro:x:2019: (2)、创建用户mandriva, 其ID号为1005；基本组为distro； [root@centos83localdomain data]#
马哥教育python
最新发布
09-03
马哥教育是一家教育机构，专注于Python编程的培训。他们提供了多个课程，包括Python基础、全栈开发、爬虫、数据分析、算法和人工智能等领域。他们的教育课程涵盖了Python所涉及的各个领域，并且价格相对较为亲民。据引用的描述，参加了马哥教育的Python课程后，他们觉得之前的学习都白费了，课程的内容和难度都很高，并且能够帮助他们在工作中更好地应对任务。引用中提到，他们的课程时长约为500个课时，价格相对于其他机构来说较为合理，而且涵盖了Python的多个领域。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [马哥python课堂笔记-马哥教育PYTHON相关基础笔记.pdf](https://download.csdn.net/download/qq_43934844/87905115)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [马哥python 培训](https://blog.csdn.net/weixin_63757190/article/details/121762215)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值