weixin_45284484的博客

原创 linux awk命令详解

awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息awk处理过程: 依次对每一行进行处理，然后输出awk命令形式:awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file[-F|-f|-v] 大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value...

转载 mysql MHA架构搭建过程

【环境介绍】系统环境：Red Hat Enterprise Linux 7 + 5.7.18 + MHA version 0.57系统IP主机名备注版本xx系统192.168.142.111mysqlmha1主库5.7.18 -log MySQL Community Server (GPL)192.168.142.112mysqlmha2备库(预主库)192.168....

转载 MySQL 中间件汇总比较

360 Atlas较为活跃，Atlas 是由 360 Web平台部基础架构团队开发维护的一个基于 MySQL 协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用 Atlas 运行的 MySQL 务，每天承载的读写请求数达几十亿条。主要功能：1. 读写分离2. 从库负载均衡3. IP过滤4. SQL语句黑白名...

转载 MySQL提升课程 全面讲解MySQL架构设计

select语句 如果从文件中获取我们要查找的数据，这个具体的实现方式则有下面的存储引擎实现myisam存储引擎一些系统表和临时排序生成的表还是myisam存储引擎myisam存储引擎实现的表的存储是有MYD文件和MYI文件 MYD存储的是数据 MYI存储的是索引 还有个frm文件是标识表的数据结构信息myisam存储引擎所级别是表锁myisam存储引擎 支持全文索引myisam存储...

原创 部署MySQL-MMM 高可用群集

简介MMM（Master-Master replication manager for MySQL）是一套支持双主故障切换和双主日常管理的脚本程序。MMM使用Perl语言开发，主要用来监控和管理MySQL Master-Master（双主）复制，虽然叫做双主复制，但是业务上同一时刻只允许对一个主进行写入，另一台备选主上提供部分读服务，以加速在主主切换时刻备选主的预热，可以说MMM这套脚本程序一方...

翻译 mysql开启慢查询及其用mysqldumpslow做日志分析

MySQL 慢查询日志是mysql提供的一种日志记录，它是用来记录在mysql中相应时间超过阈值的语句，就是指运行时间超过long_query_time值的sql，会被记录在慢查询日志中。long_query_time的默认值是10，意思是运行10S之上的语句。慢查询日志的设置1 、查看是否开启慢查询日志命令：show variables like ‘%slow_query_log%’2、...

翻译 MySQL之Xtrabackup备份与恢复

MySQL之Xtrabackup备份与恢复一、Xtrabackup介绍　　MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大，需要定制数据备份策略。例如每周实用完整备份，周一到周六实用增量备份。而Percona-Xtrabac...

原创 MySQL数据库备份与恢复

MySQL数据库备份与恢复1、备份方式逻辑备份（文本表示：SQL 语句）物理备份（数据文件的二进制副本）基于快照的备份基于复制的备份增量备份（刷新二进制日志）2、备份类型2.1 热备份这些动态备份在读取或修改数据的过程中进行，很少中断或者不中断传输或处理数据的功能。使用热备份时，系统仍可供读取和修改数据的操作访问。2.2冷备份这些备份在用户不能访问数据时进行，因此无法读取或修...

转载 net-tools中ifconfig 和 route 与 iproute2 中 ip

一、写本文的目的本文完全是自己在学习iproute2的过程中搜集的大杂烩，记录在这里，方便以后自己查询学习，图片都是来自网络，在此表示感谢！二、简单了解iproute2工具套装iproute2是linux下管理控制TCP/IP网络和流量控制的新一代工具包，旨在替代老派的工具链net-tools，即大家比较熟悉的ifconfig，arp，route，netstat等命令。要说这两套工具本质的...

原创 高效查看MySQL帮助文档的方法

在mysql的使用过程中, 可能经常会遇到以下问题:某个操作语法忘记了, 如何快速查找?如何快速知道当前版本上某个字段类型的取值范围?当前版本都支持哪些函数?希望有例子说明…当前版本是否支持某个功能?对于上面列出的问题, 我们可能想到的方法是查找MySQL的文档, 这些问题在官方文档都可以很清楚地查到, 但是却要耗费大量的时间和精力.所以对于以上问题, 最好的解决办法就是使用MySQL...

翻译 MYSQL中的COLLATE(COLLATION)是什么？

在mysql中执行show create table 指令，可以看到一张表的建表语句，example如下：CREATE TABLE table1 (id bigint(20) unsigned NOT NULL AUTO_INCREMENT,field1 text COLLATE utf8_unicode_ci NOT NULL COMMENT ‘字段1’,field2 varchar(1...

转载 什么影响了MySQL性能

什么影响了MySQL性能影响性能的一些常见因素服务器硬件服务器系统数据库存储引擎MyISAM：可以很好的利用内存，但不支持事务，表级锁InnoDB：事务级存储引擎，完美支持行级锁以及事务ACID特性数据库参数配置数据库表结构设计和SQL语句执行效率数据库的版本CPU资源和可用内存大小在服务器硬件中，最容易影响数据库性能的是CPU资源和可用内存大小以及I/O。选择CPU时需要...

原创 mysql开启慢查询及其用mysqldumpslow做日志分析

MySQL 慢查询日志是mysql提供的一种日志记录，它是用来记录在mysql中相应时间超过阈值的语句，就是指运行时间超过long_query_time值的sql，会被记录在慢查询日志中。long_query_time的默认值是10，意思是运行10S之上的语句。慢查询日志的设置1 、查看是否开启慢查询日志命令：show variables like ‘%slow_query_log%’2、...

原创 MySQL核心参数优化

MySQL核心参数优化一.数据库服务器配置CPU：48C内存：128GDISK：3.2TSSD二.CPU的优化innodb_thread_concurrency=32表示SQL经过解析后，允许同时有32个线程去innodb引擎取数据，如果超过32个，则需要排队；值太大会产生热点数据，global锁争用严重，影响性能三.内存的优化query_cache_type=0query_...

转载 centos内核参数调优

【net】######################## cat /proc/sys/net/ipv4/tcp_syncookies默认值：1作用：是否打开SYN Cookie功能，该功能可以防止部分SYN攻击net.ipv4.tcp_syncookies = 1######################## cat /proc/sys/net/ipv4/ip_local_port_...

原创 MySQL存储引擎详解

一、MySQL常用存储引擎及特点1、InnoDB存储引擎从MySQL5.5版本之后，MySQL的默认内置存储引擎已经是InnoDB了，他的主要特点有：（1）灾难恢复性比较好；（2）支持事务。默认的事务隔离级别为可重复度，通过MVCC（并发版本控制）来实现的。（3）使用的锁粒度为行级锁，可以支持更高的并发；（4）支持外键；（5）配合一些热备工具可以支持在线热备份；（6）在InnoDB...

原创 mysql事务隔离级别与设置

mysql数据库，当且仅当引擎是InnoDB，才支持事务；1、隔离级别事务的隔离级别分为：未提交读(read uncommitted)、已提交读(read committed)、可重复读(repeatable read)、串行化(serializable)。未提交读A事务已执行，但未提交；B事务查询到A事务的更新后数据；A事务回滚；—出现脏数据已提交读A事务执行更新；B事务查询；A事务...

原创 Linux中引号

我们将把编写脚本的事情暂时搁在一边，然后来讨论一些，我们一直在用的，但是没有解释的东西。引号在这一节里面，我们会讲述引号。引号有两个作用：控制字符替换 和执行将单词包含在一起的功能我们已经使用过引号。在我们的脚本里面，将文本信息赋值给常量的赋值操作就使用了引号：TITLE=“System Information for HOSTNAME"RIGHTNOW=HOSTNAME"RIGHT_N...

转载 Linux 问题故障定位，看一篇就搞定了！

背景有时候会遇到一些疑难杂症，并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累，并且有些问题涉及到的领域非常广，才能定位到问题。所以，分析问题和踩坑是非常锻炼一个人的成长和提升自我能力。如果我们有一套好的分析工具，那将是事半功倍，能够帮助大家快速定位问题，节省大家很多时间做更深入的事情。说明本篇文章主要介绍...

原创 Linux在职人员必备的150个命令集合笔记

转载 做负载均衡Nginx、HAProxy和LVS总有一个适合你

NginxNginx优点：1、工作在网络7层之上，可针对http应用做一些分流的策略，如针对域名、目录结构，它的正规规则比HAProxy更为强大和灵活，所以，目前为止广泛流行。2、Nginx对网络稳定性的依赖非常小，理论上能ping通就能进行负载功能。3、Nginx安装与配置比较简单，测试也比较方便，基本能把错误日志打印出来。4、可以承担高负载压力且稳定，硬件不差的情况下一般能支撑几万次...

原创 Vim 快捷键一览表

Vim 编辑器是一个基于命令行的工具，是传奇编辑器 vi 的增强版。尽管图形界面的富文本编辑有很多，但是熟悉 Vim 对于每一位 Linux 的使用者都能有所帮助——无论你是经验丰富的系统管理员，还是刚上手树莓派的新手用户。这个轻量级的编辑器是个非常强大的工具。在有经验的使用者手中，它能完成不可思议的任务。除了常规的文本编辑功能以外，它还支持一些进阶特性。例如，基于正则表达式的搜索和替换、编码转...

翻译 Linux 运维必备的 13 款实用工具,拿好了~

本文介绍几款 Linux 运维比较实用的工具，希望对 Linux 运维人员有所帮助。查看进程占用带宽情况 - NethogsNethogs 是一个终端下的网络流量监控工具可以直观的显示每个进程占用的带宽。下载：http://sourceforge.net/projects/nethogs/files/nethogs/0.8/nethogs-0.8.0.tar.gz/download[r...

翻译 从 IPv4 到 IPv6 过渡，无法错过这些知识点

前言网络是我们工程师的基础技能之一, 毕竟没有网络我们什么也干不了! 从各大公司的招聘要求上看,网络也是重点的考核部分. 今天就和大家一起复习下(还)大学里的课程(欠下的债)! TCP/IP协议簇的IP协议.理解网络模型网络的设计大佬们想出了分层的设计,将各个功能分开,交付给不同的层,这样的好处是便于更新和维护(IPv6的到来并没有使整个网络重新设计),也便于我们的学习和理解.下面是各个版本...

翻译 容器时代：数万台服务器下的 Docker 深度安全实践

本文整理自2019年GOPS 全球运维大会主题演讲——《容器时代：数万台服务器下的 Docker 深度安全实践》，演讲嘉宾刘湛卢，来自于OPPO互联网安全团队，负责OPPO互联网安全团队的研发工作。本文主要内容如下：Docker生态与架构安全问题和应对方案OPPO容器安全实践容器生态的安全展望先简单介绍一下行业背景。当前，OPPO在全球有超过2亿+的DAU，最近几年数据量增长超过1...

转载 当一个新手妹子把公司服务器数据删了…

事故背景安排一个妹子在一台生产服务器上安装Oracle，妹子边研究边安装，感觉装的不对，准备卸载重新安装。从网上找到卸载方法，其中要执行一行命令删除Oracle的安装目录，命令如下：rm -rf $ORACLE_BASE/*如果ORACLE_BASE这个变量没有赋值，那命令就变成了rm -rf /*等等，妹子使用的可是root账户啊。就这样，把整个盘的文件全部删除了，包括应用Tomc...

翻译 Linux 下实践 VxLAN

在上篇文章中，我们已经探讨了 VxLAN 的概念和基本原理，本文就基于 Linux 对 VxLAN 做一个实践。如果有相关概念不懂的可以先看那篇文章。01 Linux 上对 VxLAN 的支持首先，来看下 Linux 对 VxLAN 的支持，Linux 对 VxLAN 协议的支持时间并不久，2012 年 Stephen Hemminger 才把相关的工作合并到 kernel 中，并最终出现在 ...

翻译 Linux 中的零拷贝技术，

本文探讨Linux中 主要的几种零拷贝技术 以及零拷贝技术 适用的场景 。为了迅速建立起零拷贝的概念，我们拿一个常用的场景进行引入：01 引文在写一个服务端程序时（Web Server或者文件服务器），文件下载是一个基本功能。这时候服务端的任务是：将服务端主机磁盘中的文件不做修改地从已连接的socket发出去，我们通常用下面的代码完成：while((n = read(diskfd, buf...

转载 学习正则表达式就用它，还有在线练习网站

一个正则表达式是在一个主体字符串中从左到右匹配字符串时的一种样式. “Regular expression"这个词比较拗口, 我们常使用缩写的术语"regex"或"regexp”. 正则表达式可以从一个基础字符串中根据一定的匹配模式替换文本中的字符串、验证表单、提取字符串等等。很多程序员都需要用到正则表达式，它可以帮助开发者很好的判断一个字符串是否合法，如下就是通过正则表达式来验证一个用户名：...

转载 详解 Linux 环境下部署 HTTPD 服务

Apache HTTP Server”是开源软件项目，基于标准的 HTTP 网络协议提供的网页浏览服务，可运行在 Linux、UNIX、Windows 等多种操作系统平台。其 Apache 的官方网站如下；http://httpd.apache.org/http://www.apache.org/2.安装 httpd 服务器配置 Apache 网站服务前，需正确安装好 httpd 服务...

原创 10 个用于收集硬件信息的 Linux 命令

1.如何查看Linux系统的信息如果只想知道系统名称，可以使用不带任何参数选项的uname命令，就可以输出系统信息，或使用uname -s命令输出系统的内核名称。tecmint@tecmint ~ $ unameLinux要查看网络主机名，用“-n”参数选项的uname命令，如下所示。tecmint@tecmint ~ $ uname -ntecmint.com要获取有关内核版本的信...

翻译 一份完整的 IPv6 环境下 DNS 相关测试

一、IPv6 支持度报告IPv6 简介IPv6（Internet Protocol version 6，互联网通信协议第 6 版）是用于数据包交换互联网络的网络层协议，是 IETF（互联网工程任务小组 Internet Engineering Task Force，简称 IETF）设计的用来替代 IPv4 协议的互联网协议版本。随着电子技术及网络技术的发展，计算机网络已经与人们的生活密切相关...

转载 50个你必须了解的Kubernetes面试问题

Kubernetes一直是当今业界的流行语，也是最好的编排工具。它吸引了许多想要提升自己职业生涯的经验丰富的专业人士。HuaWei，Pokemon，Box，eBay，Ing，Yahoo Japan，SAP，纽约时报，Open AI，Sound Cloud等跨国公司也使用Kubernetes。我相信你已经知道这些事实，这也是促使你打开这个Kubernetes面试问题文章原因。在这篇关于Kubern...

原创 BAT架构师总结隆，安装，必备Linux系统4大顶尖技术！

要学好Linux这门技术，首先需安装Linux操作系统，Linux操作系统安装是每个初学者的门槛。而安装Linux操作系统，最大的困惑莫过于给操作系统进行磁盘分区。虽然目前各种发行版本的 Linux 已经提供了友好的图形交互界面，但很多初学者还是感觉无从下手,这其中原因主要是不清楚Linux 的分区规定。Linux 系统安装中规定，同样每块硬盘设备最多只能分 4个主分区（其中包含扩展分区）构成...

转载 使用 shell 在多服务器上批量操作

需求日常工作中，我们常需要同时在多台服务器上执行同样的命令，如对比日志、检查服务等。这就需要我们有服务器批量操作的能力。两年前写过一篇文章，shell实现SSH自动登陆 使用 shell 的 expect 命令进行 ssh 登陆，这种方式的灵活性确实非常高，但实现起来比较麻烦，而且单进程阻塞的特性也是它的硬伤，如果使用它进行批量操作，就需要启动多个 expect 进程，涉及到各个进程和主进程的...

翻译 BAT架构师熬夜制作，6步掌握2019K8S商业项目原理

Kubernetes实现的最重要的工作是对Docker容器集群统一的管理和调度，通常使用命令行来操作Kubernetes集群及各个节点，命令行操作非常不方便，如果使用UI界面来可视化操作，会更加方便的管理和维护。如下为配置kubernetes dashboard完整过程，在Node节点提前导入两个列表镜像（从云盘下载即可）：pod-infrastructurekubernetes-dashb...

转载 Docker 数据持久化的三种方案，你总能用到

容器中的数据可以存储在容器层。但是将数据存放在容器层存在以下问题：数据不是持久化。意思是如果容器删除了，这些数据也就没了主机上的其它进程不方便访问这些数据对这些数据的I/O会经过存储驱动，然后到达主机，引入了一层间接层，因此性能会有所下降Docker 提供了3种持久化数据的方式：volumes：存于主机文件系统中的某个区域，由Docker管理（/var/lib/docker/volume...

转载 CentOS 7/8 预装的新型防火墙firewalld配置详解，

前言本文将会详细介绍CentOS 7 firewalld的来由、功能、常用命令、常用的案例及使用方法。希望能帮助读者全面了解firewalld，并能正确配置和使用它。centos7 firewalldfirewalld与iptables的关系在RHEL7里有几种防火墙共存：firewalld、iptables、ebtables，默认是使用firewalld来管理netfilter子...

翻译 LAMP企业架构拓展实战原理，3步能彻底搞清楚！

LAMP（Linux+Apache+MySQL/MariaDB+Perl/PHP/Python）是一组用来搭建动态网站的开源软件架构，本身是各自独立的软件服务，放在一起使用，拥有了越来越高的兼容度，共同组成了一个强大的Web应用程序平台。本章向读者介绍互联网主流企业架构LAMP应用案例、PHP解释性语言详解、LAMP组合通信原理、LAMP企业源码架设、LAMP拓展及使用Redis提升LAMP性能...

转载 iptables面试题

1、详述iptales工作流程以及规则过滤顺序？工作顺序依次为：raw 、mangle 、nat 、filter规则链间的匹配顺序入站数据：PREROUTING 、INPUT出站数据：OUTPUT 、POSTROUTING转发数据：PREROUTING 、FORWARD POSTROUTING2、iptables有几个表以及每个表有几个链？Iptables有四表五链3、请写出查看ip...