自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

李晓蒙的博客

吾十有五而志于学,三十而立,四十而不惑,五十而知天命,六十而耳顺,七十而从心所欲,不逾矩!...

原创 pt-online-schema-change 使用解析

本文简单介绍 pt-online-schema-change 工具。 1 原理介绍 表格必须带有主键或者唯一索引!! 假设现有tbosc需要做ALTER操作,使用pt-online-schema-change的时候,根据tbddl表结构及索引情况,创建一个新的空表_tbosc_ne...

2020-01-03 12:28:00 131 0

原创 docker & docker-compose 安装及解析

安装依赖包 yum install -y yum-utils device-mapper-persistent-data lvm2 设置阿里云镜像源 sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker...

2019-11-07 16:04:49 31 0

原创 inception审核规则详解

inception审核规则详解 规则简介: 配制文件 inc.cnf 一 INSERT 1 在插入中,必须指定插入的列名,即使全部插入,也需要指定每个列名。(insert into a(a,b,c) values(123,213,13))inception_c...

2019-10-10 12:00:56 125 0

原创 centos 7.X 安装nodejs

1.首先安装wget yum install -y wget 如果已经安装了可以跳过该步 2.下载nodejs最新的tar包 可以在下载页面https://nodejs.org/en/download/中找到下载地址。然后执行指令 wget https://nodejs.org/...

2019-09-30 16:11:37 53 0

转载 MySQL 复制过滤

一、背景 如果有这样的一个需求:master 有3个库A,B,C ,D,由于某种原因,现在需要将其中2个库B,C单独拆分出来,单独一个实例。 如果是你,打算怎么做呢? 常见的做法就是,单独搭建一个只有B,C库的实例,然后只复制master的B,C库,过滤掉A,D库。那么复制过滤就应运而生了,re...

2019-09-05 17:57:26 157 0

原创 mysql 用户及权限迁移

当需要把一批用户批量迁移到其它实例时。见下文 --李晓蒙 导出 [root@lxmdata0]# mysql -h10.10.1.1 -B -N -uroot -p -e "SELECT CONCAT('\'', user,'\'...

2019-08-28 14:41:10 357 0

原创 mysql performance_schema几个性能关注点

events_statements_summary_by_digest:按照事件的语句进行聚合。 表结构如下: CREATE TABLE `events_statements_summary_by_digest` ( `SCHEMA_NAME` varchar(64) DEFAULT NUL...

2019-08-08 11:14:17 609 0

原创 innobackupex 安装

mysql 备份工具innobackupex 安装 yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm yum install percona-xtrabackup-24 yum install...

2019-06-20 11:53:27 1753 2

原创 mysql 索引匹配规则

explain 中关键字 Index Key :MySQL是用来确定扫描的数据范围,实际就是可以利用到的MySQL索引部分,体现在Key Length。 Index Filter:MySQL用来确定哪些数据是可以用索引去过滤,在启用ICP后,可以用上索引的部分。 Table Filter:M...

2018-09-21 17:52:32 1614 1

原创 pt-online-schema-change 和 pt-archiver 使用方法

Percona Toolkit 包含多种用于 MySQL 数据库管理的工具。下面介绍常用的 pt-online-schema-change  和  pt-archiver 搭配 RDS MySQL 的使用方法。注:pt-online-schema-change 和 pt-archiver 工具均须...

2018-04-23 14:01:19 650 0

原创 MySQL5.6/ 5.7 SSL配置

专题一:mysql5.7上开启并配置ssl[root@mysqlmaster01 bin]# ./mysql_ssl_rsa_setup --datadir=/data/mysql_data1/ --user=mysqlGenerating a 2048 bit RSA private key.....

2018-03-19 16:38:00 4137 0

原创 java连接MySQL数据库

工具:eclipse    MySQL5.6    MySQL连接驱动:mysql-connector-java-5.1.27.jar 加载驱动:   1. 在工程目录中创建lib文件夹,将下载好的JDBC放到该文件夹下,如下图所示:      2. 右键工程名...

2017-12-12 15:51:56 555 0

转载 MySQL的binlog日志

binlog 基本认识 MySQL的二进制日志可以说是MySQL最重要的日志了,它记录了所有的DDL和DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL的二进制日志是事务安全型的。 一般来说开启二进制日志大概会有1%的性能损耗(参见MySQL...

2017-12-01 11:49:03 380 0

转载 mysql5.7 多源复制

背景: MySQL5.7在主从复制上面相对之前版本多了一些新特性,包括多源复制、基于组提交的并行复制、在线修改Replication Filter、GTID增强、半同步复制增强等。因为都是和复制相关,所以本文将针对这些新特性放一起进行说明,篇幅可能稍长,本文使用的MySQL版本是5.7.13...

2017-11-28 19:40:12 1896 0

原创 hive 内置数据类型

Hive的内置数据类型可以分为两大类:(1)、基础数据类型;(2)、复杂数据类型。其中,基础数据类型包括:TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DA...

2017-11-14 12:44:53 359 0

原创 Kettle 命令行使用说明

Kettle 命令行使用说明

2017-11-14 10:01:26 1355 0

原创 mha 0.57 安装

官网下载。安装依赖包:yum install perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes -y如果提示有的包没有找到。需要运行yum install epel...

2017-11-06 16:35:05 1227 0

原创 hbase1.2.6 部署

前提条件: 安装hadoop ,zookeeper  hadoop 请查看其它文章 zookpeer 安装。 下载:http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz 解压: tar -zxvf zo...

2017-10-31 16:30:49 380 0

原创 hive 安装

前提,需要安装hadoop 2.7 与 Hadoop 类似,Hive 也有 3 种运行模式: 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中,这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显,因为一个内嵌的 Derby 数据库每次只能访问一个数据文件,这也...

2017-10-31 11:02:12 386 0

原创 python 升级 yum 不可用解决方法

python 升级 vim 不可用解决方法 以下方法为2.4 升级2.6 ,同样适用于2.6 升级至更高版本。 python在linux上对很多程序都支持,但有些要高版本才可以安装或使用,但centos上默认的python才2.4,有些朋友怕升级python造成系统问题,所以今天给大家说下使用...

2017-10-31 09:41:56 1972 1

原创 hadoop 2.7.4 单机版安装

hadoop 2.7 安装 首先下载: http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz 解压: tar -zxvf hadoop-2.7.4.tar.gz 拷贝到工作目录 ...

2017-10-30 16:59:11 5610 0

原创 hadoop 更换数据目录

一、扩容本地磁盘并挂载 机器都是阿里云的服务器,需要现在阿里云购买磁盘。然后挂载到服务器上  1、把新加的磁盘挂载到了/hdfs_data 2、原来默认的hdfs的数据目录为/usr/local/hadoop/hdfs/data/ name>dfs.datanode.data.d...

2017-10-27 18:54:03 3937 0

原创 mysql 索引详解

mysql 索引详解  一个慢查询引发的思考 select count(*) from task where status=2 and operator_id=20839 and operate_time>1371169729 and operate_time<137117460...

2017-10-17 10:36:37 265 0

转载 Percona Monitoring and Management 部署

Percona Monitoring and Management pmm

2017-10-12 11:47:50 3155 1

原创 mysql 5.7 开启半同步复制

1.安装相关的插件 show plugins;  查看模块 help --uninstall; 查看卸载模块 master: mysql> install plugin rpl_semi_sync_master soname 'semisyn...

2017-09-08 11:42:00 2110 0

原创 mysql 5.7 Replication 详解

一 前言 随着MySQL 5.7 的发布,新版本的MySQL修复了semi sync 的一些bug 并且增强了功能。 支持发送binlog和接受ack的异步化; 支持在事务commit前等待ACK; 在server层判断备库是否要求半同步以减少Plu...

2017-09-08 11:41:06 715 0

原创 mysql gtid 复制跳过错误

在从机查看当前执行出错的gtid  mysql> show slave status \G *************************** 1. row ***************************                Slave_IO_St...

2017-09-07 17:50:35 772 0

转载 Redis 详解

力进行直观介绍。之后概览Redis提供的高级能力,并在部署、维护、性能调优等多个方面进行更深入的介绍和指导。 本文适合使用Redis的普通开发人员,以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述Redis的数据结构和相关常用命令数据持久化内存管理与数据淘汰机制P...

2017-08-02 16:40:25 572 0

原创 python 敏感词过滤

敏感词过滤的经典算法DFA ,做了评估实验 先上代码 [python] view plain copy #!/usr/bin/python2.6     # -*- coding: utf-8 -*-   import time   clas...

2017-05-17 14:14:18 6843 0

原创 Python Socket 编程介绍

Python 提供了两个基本的 socket 模块: Socket 它提供了标准的BSD Socket API。SocketServer 它提供了服务器重心,可以简化网络服务器的开发。 下面讲解下 Socket模块功能。 Socket 类型 套接字格式:socket(f...

2017-02-18 21:33:07 532 0

转载 MongoDB aggregate 聚合管道

MongoDB聚合管道 使用聚合管道可以对集合中的文档进行变换和组合。 管道是由一个个功能节点组成的,这些节点用管道操作符来进行表示。聚合管道以一个集合中的所有文档作为开始,然后这些文档从一个操作节点流向下一个节点 ,每个操作节点对文档做相应的操作。这些操作可能会创建新的文档或者过滤...

2017-02-14 12:39:48 3367 0

原创 zabbix 3.0安装部署

zabbix v3.0安装部署     关于zabbix及相关服务软件版本: Linux:centos 6.6 nginx:1.9.15 MySQL:5.5.49 PHP:5.5.35 一、安装nginx: 安装依赖包: yum -y install ...

2017-01-20 15:11:37 1558 0

原创 Mysql5.7 的错误日志中最常见的note级别日志解释

在使用mysql5.7的时候,发现了不少在mysql5.6上不曾见过的日志,级别为note, 作者梳理了一下,最常见的note日志以下三种,下面我们来逐个解释。 第一种,Aborted connection . 如上图,信息如下: 2016-03-17T14:44:24.10254...

2017-01-11 11:50:22 17500 1

原创 mysql 重建帐号

mysql 因某些原因帐户被破坏。需要重建 一、模拟删除破坏用户: laojiang:~ # mysql -uroot -proot mysql> use mysql; mysql> select user,host from user; +----------+----------...

2016-12-29 17:20:19 401 0

转载 Kafka 设计与原理详解

一、Kafka简介 本文综合了我之前写的kafka相关文章,可作为一个全面了解学习kafka的培训学习资料。 转载请注明出处 : 本文链接 1.1 背景历史 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战...

2016-12-28 20:48:14 1114 0

原创 linux磁盘读写性能监控

1.硬盘读写性能,#查看TPS和吞吐量信息 iostat -d -k 1 10        Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn sda              14.54      ...

2016-12-17 10:37:51 7376 0

转载 MySQL错误代码大全

MySQL错误代码大全

2016-12-16 11:51:46 628 0

转载 awk 常用命令详解

简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk,未作特别说明,...

2016-12-03 14:23:11 248 0

原创 netstat下time_wait状态的tcp连接

netstat -an 192.168.12.13:3306      192.168.12.12:30443      TIME_WAIT 192.168.12.13:3306      192.168.12.12:30444      TIME_WAIT 192.168.12...

2016-11-25 15:52:45 8875 0

转载 Redis-3.2.0集群配置(redis cluster)

目录 1 1. 前言 2 2. 部署计划 2 3. 目录结构 2 4. 编译安装 3 5. 修改系统参数 3 5.1. 修改最大可打开文件数 3 5.2. TCP监听队列大小 4 5.3. OOM相关:vm.overcommit_memory 4 5.4. /sys/kernel...

2016-11-23 13:06:57 1587 2

提示
确定要删除当前文章?
取消 删除