李晓蒙的博客

吾十有五而志于学，三十而立，四十而不惑，五十而知天命，六十而耳顺，七十而从心所欲，不逾矩！

Base配置和使用文档...................................................................................................... 1一、 HBase原理和结构说明............................................................................................. 2二、 HBase的表结构...............

2022-05-25 10:56:36 939

原创 linux 内核参数优化

linux 内核参数优化最近整理了一下内核参数。备用。哈以下参数适用于请求量比较大的sever 端。编辑内核参数，执行sysctl -p生效vi /etc/sysctl.confnet.core.rmem_max = 33554432net.core.wmem_max = 33554432net.ipv4.tcp_rmem =4096 65536 131072net.ipv4.tcp_wmem =4096 65536 131072net.ipv4.tcp_mem =65...

2021-01-27 11:06:51 496

原创 mysql 服务器 CentOS系统优化

CentOS系统参数优化这里简单介绍一些系统参数的优化，1. 内核相关参数（/etc/sysctl.conf）# 每个连接的最大长度1 net.core.somaxconn = 65535# 当网络接受速率大于内核处理速率时，允许发送到队列中的包数目2 net.core.netdev_max_backlog = 65535# 保持未连接的包最大数量3 net.ipv4.tcp_max_syn_backlog = 65535# 控制tcp链接等待时间加快tcp链接回收4 net..

2020-06-04 11:45:22 346

原创 pt-online-schema-change 使用解析

本文简单介绍 pt-online-schema-change 工具。1 原理介绍表格必须带有主键或者唯一索引！！假设现有tbosc需要做ALTER操作，使用pt-online-schema-change的时候，根据tbddl表结构及索引情况，创建一个新的空表_tbosc_new，然后从原始表格tbosc 中拷贝数据到新的表格 _tbosc_new，copy d...

2020-01-03 12:28:00 7068

原创 docker & docker-compose 安装及解析

安装依赖包yum install -y yum-utils device-mapper-persistent-data lvm2 设置阿里云镜像源sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 安装 Docker-CE...

2019-11-07 16:04:49 347

原创 inception审核规则详解

inception审核规则详解规则简介:配制文件 inc.cnf 一 INSERT 1 在插入中，必须指定插入的列名，即使全部插入,也需要指定每个列名。(insert into a(a,b,c) values(123,213,13))inception_check_insert_field=>默认开启 ...

2019-10-10 12:00:56 1202

原创 centos 7.X 安装nodejs

1.首先安装wgetyum install -y wget如果已经安装了可以跳过该步2.下载nodejs最新的tar包可以在下载页面https://nodejs.org/en/download/中找到下载地址。然后执行指令wget https://nodejs.org/dist/v9.3.0/node-v9.3.0-linux-x64.tar.xz然后就是等着下载...

2019-09-30 16:11:37 253

转载 MySQL 复制过滤

一、背景如果有这样的一个需求：master 有3个库A，B，C ，D，由于某种原因，现在需要将其中2个库B，C单独拆分出来，单独一个实例。如果是你，打算怎么做呢？常见的做法就是，单独搭建一个只有B，C库的实例，然后只复制master的B，C库，过滤掉A，D库。那么复制过滤就应运而生了，replicate-*-do-DB/table 等。二、理由为了搭建这一套环境（只复制master...

2019-09-05 17:57:26 547

原创 mysql 用户及权限迁移

当需要把一批用户批量迁移到其它实例时。见下文 --李晓蒙导出[root@lxmdata0]# mysql -h10.10.1.1 -B -N -uroot -p -e "SELECT CONCAT('\'', user,'\'@\'', host, '\'') FROM user WHERE user != 'debian-sys-maint' AND user != 'root'...

2019-08-28 14:41:10 2864

原创 mysql performance_schema几个性能关注点

events_statements_summary_by_digest：按照事件的语句进行聚合。表结构如下：CREATE TABLE `events_statements_summary_by_digest` ( `SCHEMA_NAME` varchar(64) DEFAULT NULL COMMENT '库名', `DIGEST` varchar(32) DEFAULT NU...

2019-08-08 11:14:17 1163

原创 innobackupex 安装

mysql 备份工具innobackupex 安装yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpmyum install percona-xtrabackup-24yum install qpress

2019-06-20 11:53:27 5781 2

原创 mysql 索引匹配规则

explain 中关键字Index Key ：MySQL是用来确定扫描的数据范围，实际就是可以利用到的MySQL索引部分，体现在Key Length。 Index Filter：MySQL用来确定哪些数据是可以用索引去过滤，在启用ICP后，可以用上索引的部分。 Table Filter：MySQL无法用索引过滤，回表取回行数据后，到server层进行数据过滤。我们细细展开。Index...

2018-09-21 17:52:32 3803 3

原创 pt-online-schema-change 和 pt-archiver 使用方法

Percona Toolkit 包含多种用于 MySQL 数据库管理的工具。下面介绍常用的 pt-online-schema-change 和 pt-archiver 搭配 RDS MySQL 的使用方法。注：pt-online-schema-change 和 pt-archiver 工具均须指定 --no-version-check 选项方能搭配 RDS MySQL 实例使用。本文样例使用 ...

2018-04-23 14:01:19 1092

原创 MySQL5.6/ 5.7 SSL配置

专题一：mysql5.7上开启并配置ssl[root@mysqlmaster01 bin]# ./mysql_ssl_rsa_setup --datadir=/data/mysql_data1/ --user=mysqlGenerating a 2048 bit RSA private key........................................................

2018-03-19 16:38:00 8440

原创 java连接MySQL数据库

工具：eclipse　　　MySQL5.6　　　MySQL连接驱动：mysql-connector-java-5.1.27.jar加载驱动：　　1. 在工程目录中创建lib文件夹，将下载好的JDBC放到该文件夹下，如下图所示：　　　　2. 右键工程名，在java build path中的Libraries分页中选择Add JARs...，选择刚才添加

2017-12-12 15:51:56 957

转载 MySQL的binlog日志

binlog 基本认识 MySQL的二进制日志可以说是MySQL最重要的日志了，它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。一般来说开启二进制日志大概会有1%的性能损耗(参见MySQL官方中文手册 5.1.24版)。二进制有两个最重要的使用场景: 其一：MySQL Repli

2017-12-01 11:49:03 520

转载 mysql5.7 多源复制

背景：MySQL5.7在主从复制上面相对之前版本多了一些新特性，包括多源复制、基于组提交的并行复制、在线修改Replication Filter、GTID增强、半同步复制增强等。因为都是和复制相关，所以本文将针对这些新特性放一起进行说明，篇幅可能稍长，本文使用的MySQL版本是5.7.13。1，多源复制（多主一从）MySQL在5.7之后才支持多源复制，之前介绍过MariaD

2017-11-28 19:40:12 2979

原创 hive 内置数据类型

Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型。其中，基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE。下面的表格列出这些基础类型所占的字节以及从什么版本开始支持这些类型。数据类型

2017-11-14 12:44:53 661

原创 Kettle 命令行使用说明

Kettle 命令行使用说明

2017-11-14 10:01:26 2677

原创 mha 0.57 安装

官网下载。安装依赖包:yum install perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes -y如果提示有的包没有找到。需要运行yum install epel-release -y安装客户端：rpm -ivh mha4mysql-node-0.57-0.el7...

2017-11-06 16:35:05 2060

原创 hbase1.2.6 部署

前提条件：安装hadoop ,zookeeper hadoop 请查看其它文章zookpeer 安装。下载：http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz解压：tar -zxvf zookeeper-3.4.10.tar.gz拷贝mv zookeeper-3.4

2017-10-31 16:30:49 545

原创 hive 安装

前提，需要安装hadoop 2.7与 Hadoop 类似，Hive 也有 3 种运行模式：1. 内嵌模式将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。2. 本地模式这种模式是将元数据保存在

2017-10-31 11:02:12 548

原创 python 升级 yum 不可用解决方法

python 升级 vim 不可用解决方法以下方法为2.4 升级2.6 ,同样适用于2.6 升级至更高版本。python在linux上对很多程序都支持,但有些要高版本才可以安装或使用,但centos上默认的python才2.4,有些朋友怕升级python造成系统问题,所以今天给大家说下使用yum来升级.系统:centos 5.5需要的软件包:epel-release-5-4.noa

2017-10-31 09:41:56 2704 2

原创 hadoop 2.7.4 单机版安装

hadoop 2.7 安装首先下载：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz解压：tar -zxvf hadoop-2.7.4.tar.gz拷贝到工作目录：mv hadoop.xxxxx /usr/local/hadoop安装java 1.8下载

2017-10-30 16:59:11 9082

原创 hadoop 更换数据目录

一、扩容本地磁盘并挂载机器都是阿里云的服务器，需要现在阿里云购买磁盘。然后挂载到服务器上 1、把新加的磁盘挂载到了/hdfs_data2、原来默认的hdfs的数据目录为/usr/local/hadoop/hdfs/data/name>dfs.datanode.data.dirname>value>二、停止Datanode我这里有三台datanode，数量比较小

2017-10-27 18:54:03 7295

原创 mysql 索引详解

mysql 索引详解一个慢查询引发的思考 select count(*) from task where status=2 and operator_id=20839 and operate_time>1371169729 and operate_time<1371174603 and type=2; 系统使用者反应有一个功能越来越慢，于是工程师找到了上面的SQL。并且兴致冲冲的找到了

2017-10-17 10:36:37 483

转载 Percona Monitoring and Management 部署

Percona Monitoring and Management pmm

2017-10-12 11:47:50 5194 1

原创 mysql 5.7 开启半同步复制

1.安装相关的插件show plugins; 查看模块help --uninstall; 查看卸载模块master:mysql> install plugin rpl_semi_sync_master soname 'semisync_master.so'; --安装 semisync_master.so插件 Query OK, 0 rows

2017-09-08 11:42:00 3332

原创 mysql 5.7 Replication 详解

一前言随着MySQL 5.7 的发布，新版本的MySQL修复了semi sync 的一些bug 并且增强了功能。支持发送binlog和接受ack的异步化;支持在事务commit前等待ACK;在server层判断备库是否要求半同步以减少Plugin锁冲突;解除binlog dump线程和lock_log的冲突等等。本文

2017-09-08 11:41:06 928

原创 mysql gtid 复制跳过错误

在从机查看当前执行出错的gtid mysql> show slave status \G*************************** 1. row *************************** Slave_IO_State: Waiting for master to send event

2017-09-07 17:50:35 1490

转载 Redis 详解

力进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行更深入的介绍和指导。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。目录概述Redis的数据结构和相关常用命令数据持久化内存管理与数据淘汰机制Pipelining事务与ScriptingRedis性能调优主从复制与集群分片Redis Java客户

2017-08-02 16:40:25 844

原创 python 敏感词过滤

敏感词过滤的经典算法DFA ，做了评估实验先上代码[python] view plain copy#!/usr/bin/python2.6 # -*- coding: utf-8 -*- import time class Node(object): def __init__(self):

2017-05-17 14:14:18 8400

原创 Python Socket 编程介绍

Python 提供了两个基本的 socket 模块：Socket 它提供了标准的BSD Socket API。SocketServer 它提供了服务器重心，可以简化网络服务器的开发。下面讲解下 Socket模块功能。Socket 类型套接字格式：socket(family, type[,protocal]) 使用给定的套接族，套接字类型，协议编号（默认为0）来创

2017-02-18 21:33:07 826

转载 MongoDB aggregate 聚合管道

MongoDB聚合管道使用聚合管道可以对集合中的文档进行变换和组合。管道是由一个个功能节点组成的，这些节点用管道操作符来进行表示。聚合管道以一个集合中的所有文档作为开始，然后这些文档从一个操作节点流向下一个节点，每个操作节点对文档做相应的操作。这些操作可能会创建新的文档或者过滤掉一些不符合条件的文档，在管道中可以对文档进行重复操作。管道表达式只可以操作当前管道中的文档，不能访

2017-02-14 12:39:48 4049

原创 zabbix 3.0安装部署

zabbix v3.0安装部署关于zabbix及相关服务软件版本：Linux：centos 6.6nginx：1.9.15MySQL：5.5.49PHP：5.5.35一、安装nginx：安装依赖包：yum -y install gcc gcc-c++ autoconf automake zlib zlib-devel opens

2017-01-20 15:11:37 1878

原创 Mysql5.7 的错误日志中最常见的note级别日志解释

在使用mysql5.7的时候，发现了不少在mysql5.6上不曾见过的日志，级别为note, 作者梳理了一下，最常见的note日志以下三种，下面我们来逐个解释。第一种，Aborted connection . 如上图，信息如下：2016-03-17T14:44:24.102542Z 59 [Note] Aborted connection 59 to db: ‘unconnec

2017-01-11 11:50:22 22126 1

原创 mysql 重建帐号

mysql 因某些原因帐户被破坏。需要重建一、模拟删除破坏用户：laojiang:~ # mysql -uroot -prootmysql> use mysql;mysql> select user,host from user;+----------+------------+| user | host |+----------+-------

2016-12-29 17:20:19 558

转载 Kafka 设计与原理详解

一、Kafka简介本文综合了我之前写的kafka相关文章，可作为一个全面了解学习kafka的培训学习资料。转载请注明出处 : 本文链接1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模

2016-12-28 20:48:14 1295