2019年02月_Demonson

12月 10月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Mysql的read_only 只读属性说明

在MySQL数据库中，在进行数据迁移和从库只读状态设置时，都会涉及到只读状态和Master-Slave主从关系设置, 以下针对real_only只读属性做些笔记记录:1) 对于MySQL单实例数据库和master库，如果需要设置为只读状态，需要进行如下操作和设置：将MySQL设置为只读状态的命令（可以登录mysql执行下面命令，或者在my.cnf配置文件中添加"read_only=1",然...

2019-02-28 16:02:18 3678

转载 MySQL5.7在线开启/关闭GTID

环境介绍Part1:写在最前截止本文撰写当日，MySQL5.7.16是官网的最新稳定版，本文将用MySQL5.7.16来进行演示。从MySQL5.6开始，支持了GTID复制模式，这种模式其实是把双刃剑，虽然容易搭建主从复制了，但使用不当，就容易出现一些错误，例如error 1236。在MySQL5.6如果开启GTID模式，需要在my.cnf中加入以下几个参数：①log-bin=m...

2019-02-28 10:05:22 841

转载使用 mysqldump 备份数据库时避免锁表 --single-transaction

使用 mysqldump 备份数据库时避免锁表1.导出表时默认会枷锁备份数据库时用命令 mysqldump -u user -p xxx>xxx.sql发现没有完全备份数据库记录，加上 --skip-opt选项后好了对一个正在运行的数据库进行备份请慎重！！如果一定要在服务运行期间备份，请添加 --skip-opt选项，类似执行： mysqldump --skip-...

2019-02-26 15:34:33 36781 2

转载 mydumper安装和使用

安装下载安装包：wget https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz安装依赖包：yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake## mydumper是C语句开发，编译依赖gc...

2019-02-26 14:06:37 2687

转载 innobackupex参数说明以及演示

结构如下：热备分为逻辑备份和裸文件备份。裸文件备份比逻辑备份在速度上更快一些，因为它在底层复制数据文件。世界上唯一一款开源的，能够对INNODB和XtrDB数据库进行热备的开源工具。他的优点是备份与恢复过程的速度很快，安全可靠并且咋备份过程中不会锁表，不影响现有业务。但是目前还是不能对表结构文件和其他非事物类型的表进行备份。Xtrabackup包含了两个主要工...

2019-02-21 16:40:18 2200

转载 xtrabackup备份恢复测试

测试准备1、安装xtrabackup工具以下测试安装xtrabackup备份恢复工具的二进制包，进行测试。安装的路径为mysql安装路径，本次测试mysql的安装路径为：/home/q/percona-server/。 tar -xzf percona-xtraback-2.0.0-x86-64.tar.gz cp percona-xtrabackup-2....

2019-02-21 16:19:34 275

转载【大型网站技术实践】初级篇：借助LVS+Keepalived实现负载均衡

一、负载均衡：必不可少的基础手段1.1 找更多的牛来拉车吧　　当前大多数的互联网系统都使用了服务器集群技术，集群即将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是Web应用服务器集群，也可以是数据库服务器集群，还可以是分布式缓存服务器集群等等。古人有云：当一头牛拉不动车的时候，不要去寻找一头更强壮的牛，而是用两头牛来拉车。　　在实际应用中，在We...

2019-02-20 17:54:02 219

转载 oracle 11g 64位rman备份集迁移到32位

1. windows恢复至windows通过Rman备份数据方式为全备份命令：Rman>rman database备份包括两份文件，其中一个是数据文件，另一个为控制文件。还需要我们从源库中复制初始化文件(复制到目标数据库相应地方)，其通常在%Oracle_Home%\database目录下SpfileXXX.ora。其中Spfile需要按照备份数据库进行修改，但Spfile为...

2019-02-18 16:42:28 326

转载 nginx安装以及应用

安装下载必要组件 nginx下载地址 http://nginx.org/en/download.html pcre库下载地址，nginx需要 http://sourceforge.net/projects/pcre/files/pcre/ zlib下载地址，nginx需要 http://www.zlib.net/ openssl下载地...

2019-02-18 16:31:05 269

原创 Shell编程-运维

什么是运维术语名词IDC--（Internet Data Center)互联网数据中心，主要服务包括整机租用、服务器托管、机柜租用、机房租用、专线接入和网络管理服务等。广义上的IDC业务，实际上就是数据中心所提供的一切服务。客户租用数据中心的服务器和带宽，并利用数据中心的技术力量，来实现自己对软、硬件的要求，搭建自己的互联网平台，享用数据中心所提供的一系列服务。 ISP--(Inte...

2019-02-18 16:11:47 7879

转载 cgroup从入门到懵圈——cgroup虚拟化概念

从今天起，我要开始写博客了。先立个flag在这儿：两周一篇。万事开头难，中间不容易，最后会放弃。请各位看官监督（虽然似乎肯定没有人看）。之前有接触过cgroup，但东西都是同事在做（羡慕），理解不深。所以这个系列的文档，我假装自己是cgroup菜鸡（其实我不需要假装），从零开始学习cgroup。 cgroup是linux内核实现、用于控制linux系统资源的组件。因此要...

2019-02-18 10:18:48 1118

转载 MySQL利器之orzdba的安装，使用

orzdba的安装--orztop工具也可以看看（实时查看当前processlist和full processlist）只能在本地服务器上运行，因为使用tcprstat收集信息源码地址http://code.taobao.org/svn/orzdba/trunk/ # chmod +x orzdba tcprstat工具安装与使用使用方法：...

2019-02-16 23:44:39 3599

转载使用mysqladmin ext了解MySQL运行状态

mysqladmin是MySQL一个重要的客户端，最常见的是使用它来关闭数据库，除此，该命令还可以了解MySQL运行状态、进程信息、进程杀死等。本文介绍一下如何使用mysqladmin extended-status(因为没有"歧义"，所以可以使用ext代替)了解MySQL的运行状态。目录 [hide]1. 使用-r/-i参数 2. 配合grep使用 3. 配合简单的awk使用 4....

2019-02-16 22:32:18 284

原创 MySQL性能优化

一、参数优化上图为mysql innoodb引擎整体架构innodb_buffer_pool_size：越大命中率越高，一般系统的75%innodb_buffer_pool_instances：大内存时常用，提高并发--将innodb_buffer_pool划分为不同的instance--每个instance独立的LRU、FLUSH、FREE--独立的mutex控制...

2019-02-15 15:24:02 974

原创 MySQL压力测试工具

一、工具fio:测试Linux磁盘IO性能；tpcc-mysql:只针对mysql的测试工具，很权威；dbt2：比较全面会统计出系统的资源情况，可以对postgresql，mysql等数据库压测；sysbench：不仅压测数据库，还可以压测系统的资源，传统只针对单个表的压测，tpcc 只是固定模型，并不符合实业务逻辑，所以可以使用sysbenc...

2019-02-15 14:28:29 2950

转载 TPCC-MySQL安装、使用及结果解读

tpcc-mysql用于MySQL基准测试，percona基于TPC-C(下面简写成TPCC)衍生出来的产品。下面对tpcc-mysql进行安装然后使用，最后结果解读，安装very easy,let 's do it。一、下载epel源[root yum.repos.d]$ rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/ep...

2019-02-15 13:43:35 430

转载【工具】TPCC-MySQL 测试结果详解

TPCC-MySQL输出结果详解前面的一篇文章介绍了测试工具tpcc-mysql的安装与使用,奈何网上基本没有对于tpcc-mysql 结果的分析，本文介绍如何对测试结果进行分析:一测试例子[root@rac1 tpcc-mysql]# tpcc_start -hlocalhost -d tpcc -u root -p '' -w 5 -c 5 -r 120 -l ...

2019-02-15 13:38:48 1144

转载 MySQL MHA 搭建&测试（环境：CentOS7 + MySQL5.7.23）

MySQL MHA架构介绍：MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的...

2019-02-14 17:32:32 577

转载详解MySQL高可用MMM搭建方案及架构原理

本篇文章主要介绍搭建MMM方案以及MMM架构的原理。这里不介绍主从、主主的搭建方法，MMM方案不适用对数据一致性要求很高的业务。下面一起来学习学习。先来看看架构，如下图：部署1.修改hosts在所有的服务器中执行相同的操作。vim /etc/hosts192.168.137.10 master192.168.137.20 backup192.168.137.3...

2019-02-14 15:31:30 1120 1

转载使用pt-table-checksum&pt-table-sync检查和修复主从数据一致性

一、背景公司数据中心从托管机房迁移到阿里云，需要对MySQL迁移（Replication）后的数据一致性进行校验，但又不能对生产环境使用造成影响，pt-table-checksum成为了绝佳也是唯一的检查工具。所以就利用pt-table-checksum工作来检查主从的一致性，以及通过pt-table-sync如何修复这些不一致的数据。pt-table-checksum是Percona-T...

2019-02-14 14:13:28 937

转载 Percona Toolkit工具集介绍

部署mysql工具是一个非常重要的部分，所以工具的可靠性和很好的设计非常重要。percona toolkit是一个有30多个mysql工具的工具箱。兼容mysql,percona server,mariadb；它可以帮助DBA自动化的管理数据库和系统任务。因为他有很多工具，所以从哪里开始是一个难题，因为这个原因，所以我们下面介绍一些可能会常用到的percona toolkit工具集。安装per...

2019-02-14 14:01:41 530

转载使用pt-query-digest分析MySQL日志

一、工具介绍pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中，分析过程是先对查询语句的条件进行参数化，然后对参数化以后的查询进行分组统计，统计出各查询的执行时间、次数、占比等，可以借助分析...

2019-02-14 14:00:32 929

转载使用pt-duplicate-key-checker检查MySQL重复索引

pt-duplicate-key-checker这款工具也是percona-toolkit中一款非常适用的工具，它可以帮助你检测表中重复的索引或者主键。我们知道索引会更查询带来好处，但是过量的索引反而可能会使数据库的性能降低，这款工具可以帮助我们找到重复的索引并且还会给你删除重复索引的建议语句，非常好用。首先看我的这张表的索引结构mysql> show index from test...

2019-02-14 13:59:05 287

转载使用pt-kill为MySQL保驾护航

运行平稳的数据库，如果遇到CPU狂飙，那很大可能就是慢SQL出现了。DBA首先要保证的是，数据库别跑挂了，所以我们要把那些运行慢的SQL杀死并记录到文件里，以便后面的排查。对于OLTP型业务，主库SELECT类SQL执行不允许超过1s才是合理的；那么对于超过1s的SQL或者对微延迟可以接受查询，理应在从库或者多源库上执行。那么Percona Tools工具包中也提供了这么一个可以帮你解决这类问...

2019-02-14 13:56:47 276

原创 mysql管理工具percona-toolkit-3简单使用介绍

安装percona-toolkit-3# yum localinstall percona-toolkit-3.0.3-1.el6.x86_64.rpm perl-TermReadKey.x86_64 0:2.30-13.el6 -y 1.pt-summary #显示和系统相关的基本信息：[root@master ~]# pt-summary # Percona Tool...

2019-02-14 13:43:36 703

转载阿里云MySQL优化主从同步，降低数据延迟

1. 背景为了提高系统的可用性和数据保护，MySQL通常采用master-slave的部署结构，简单高效，master和slave之间使用binlog来复制数据。binlog支持statement和row格式，为了保证数据的一致性，通常采用row格式的event。master-slave的结构图如下：当主库或者主库所在的主机，机房出现异常情况的时候，进行...

2019-02-14 13:21:19 512

转载使用MySQL Proxy解决MySQL主从同步延迟

MySQL的主从同步机制非常方便的解决了高并发读的应用需求，给Web方面开发带来了极大的便利。但这种方式有个比较大的缺陷在于MySQL的同步机制是依赖Slave主动向Master发请求来获取数据的，而且由于服务器负载、网络拥堵等方面的原因，Master与Slave 之间的数据同步延迟是完全没有保证的。短在1秒内，长则几秒、几十秒甚至更长都有可能。由于数据延迟问题的存在，当应用程序在Master...

2019-02-14 13:20:34 272

转载 sparkSQL实战详解

摘要如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识，然后就是对各个层级关系有一个清晰的认识后，才能真正的掌握它，对于sparkSQL整体框架这一块，在前一个博客已经进行过了一些介绍，如果对这块还有疑问可以看我前一个博客：http://9269309.blog.51cto.com/925...

2019-02-13 17:36:40 141

转载 spark SQL初步认识

spark SQL是spark的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象就是DataFrame。DataFrame：它可以根据很多源进行构建，包括：结构化的数据文件，hive中的表，外部的关系型数据库，以及RDD创建DataFrame数据文件students.json{"id":1, "name":"leo", "age":18}{"id":2, "na.

2019-02-13 17:34:52 182

转载 Spark 以及 spark streaming 核心原理及实践

转载：https://www.cnblogs.com/liuliliuli2017/p/6809094.html 导语spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验积累以及心得体会，在此分享给大家。本文依次...

2019-02-13 17:26:46 147