- 博客(157)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Elasticsearch官方Web端控制台管理维护程序Kibana安装笔记
安装好Elasticsearch（https://blog.csdn.net/sweeper_freedoman/article/details/86227778）搜索引擎以及Logstash（https://blog.csdn.net/sweeper_freedoman/article/details/86300513）工具将数据从MySQL导入后，可以选择性地安装Elasticsearch官方...
2019-01-17 15:36:36
459
原创 VMware虚拟机Linux系统设置静态IP开启外网访问
【VMware】设置“网络适配器”，修改“网络连接”为“桥接模式”，即直接连接物理网络。【Ubuntu】以Ubuntu18.04为例。修改network-manager文件，配置相关网络参数。root@ubuntu:~# cd /etc/netplan/ ; ls01-network-manager-all.yamlroot@ubuntu:/etc/netplan# ...
2019-01-14 21:26:16
1332
原创 MySQL数据导入Elasticsearch工具Logstash安装笔记
安装好Elasticsearch以后（https://blog.csdn.net/sweeper_freedoman/article/details/86227778），需要将数据导进去。项目数据是很常规的情况，存储在MySQL里面。从MySQL导入数据到Elasticsearch里，查了一下有Logstash工具，简单看了一下文档，根据安装配置来看，其实现为定时执行自定义的SQL查询语句，理解起...
2019-01-11 15:38:18
777
原创 Elasticsearch安装笔记
第一次接触Elasticsearch，这里记录一下本地Ubuntu Linux环境的安装。过程中遇到不少报错，其中很多都是可以避免的，那就是安装时一定要切换到普通用户（非root账号）。①检查依赖Elasticsearch依赖于Java，所以本地一定要有Java环境。root@ubuntu:~# java -versionopenjdk version "10.0.2" 2018-...
2019-01-10 14:25:35
19946
2
原创 MySQL Connector/Python如何写入emoji表情等长字节特殊符号？
1.MySQL中定义对应的表/字段的字符编码为utf8mb4MySQL引入utf8mb4将最大存储3字节字符长度的utf8扩展到4字节，以存储包括emoji表情在内的4字节长字符文本。所以使用MySQL Connector/Python将长字节特殊符号写入MySQL前，需要先保证正确的表定义。例如，以下`chat_message_record`.`message`字段。CREATE TA...
2019-01-04 23:45:23
1749
原创 MySQL全文检索fulltext日语解析插件MeCab学习笔记
MySQL原始内置的全文检索（Full-Text Search）只适用于像英文这些词语之间有天然分隔符（如空格）的自然语言，MySQL5.7.6开始引入ngram full-text parser plugin，采用手动设置词语长度的方式进行人工分词，这可以作为CJK（Chinese、Japanese、Korean）语系全文检索的手段，具体可以参考之前的使用笔记：https://blog.csdn...
2018-12-24 16:50:16
1543
原创 Web展示MySQL库表结构和字段定义的PHP小脚本
MySQL数据库的库表结构和字段定义等元数据可以很方便地在`information_schema`系统库中查询到，但工作中一些非数据库岗位的同学很多都不了解这一点，经常会碰到过来询问某某数据存在哪张表的情况。如果能把数据库的表框架信息比较直观地展示出来，那就既方便了其他同学查询，也减轻了一些额外的“非战斗性”工作量。所以，就想着写一个Web页面吧，上网查了查资料，用PHP写了一个个人称作“Tabl...
2018-11-24 01:28:20
522
原创 Ubuntu Linux安装eclipse笔记
主要有三种方式。①apt方式apt install eclipse-platform优点是继承APT软件包管理的简单快捷，一行命令搞定。②snap方式snap install --classic eclipse也是一行命令搞定，简单快捷。但是snap软件包管理器是Ubuntu 16.04才引入的，snap的优缺点即为本安装方式的优缺点。③手动安装软件包方式这种安...
2018-10-26 17:36:36
367
原创 VMware虚拟机系统网络通信失败ifconfig显示UP BROADCAST MULTICAST没有inet地址修复笔记
今天像往常一样ssh连接装在本地VMware里的虚拟机系统，竟然突然连接不上。去主机里面一看，ifconfig的结果怪怪的，没有显示inet地址等信息，却打印出一句“UP BROADCAST MULTICAST”。root@ubuntu:~# ifconfigens33 Link encap:以太网 硬件地址 00:0c:29:b5:aa:8c UP BR...
2018-10-11 01:12:38
14465
原创 数据库面试：分页查询的SQL写法
分页是很多网站应用或管理系统比较常见的需要实现的需求，是相关开发同学常碰到的需要写的查询。开发面试中会不会被问到用SQL写分页，因为个人不是开发，就不得而知了。在之前自己参加的数据库岗位的面试中，被问到用SQL写分页，所以这里记录一下。SELECT t.`columnA`, t.`columnB`, t.`columnC`FROM `table` AS tORDER BY t.`...
2018-08-25 21:09:51
1186
原创 数据库中将数字类型存储成字符型有哪些坏处？
工作中经常见到一些设计粗糙的数据库，其中将数字类型的字段定义和存储成字符型是一种比较常见的情况。部分开发同学或者非数据库岗位很多为了图方便，往往又不在意这些细节，除非等到出现可见的或者一些不可见的问题时才会去研究隐藏其后的真相。所以，这里简单总结一下，在数据库系统中，将数字类型存储成字符类型会有哪些不好的地方。以关系型数据库MySQL示例。 ①字符类型往往比数字类型占用更多的存储...
2018-07-22 22:30:30
4637
原创 Percona Toolkit使用之pt-variable-advisor
pt-variable-advisor的功能是分析MySQL系统变量配置然后对潜在问题提出建议。 用法如下：pt-variable-advisor [OPTIONS] [DSN] pt-variable-advisor分析系统变量配置然后对潜在问题提出建议。 ①从localhost获取SHOW VARIABLES。pt-variable-advisor local...
2018-06-14 18:37:54
1383
原创 Percona Toolkit使用之pt-table-sync
pt-table-sync的功能是有效地同步MySQL表数据。 用法如下：pt-table-sync [OPTIONS] DSN [DSN] pt-table-sync有效地于MySQL表之间同步数据。 该工具会修改数据，因此为了尽可能安全，在使用它之前你最好备份一下你的数据。当使用--replicate或者--sync-to-master方式同步repli
2018-05-08 23:11:56
1991
7
原创 Percona Toolkit使用之pt-table-checksum
pt-table-checksum的功能是校验MySQL复制完整性。 用法如下：pt-table-checksum [OPTIONS] [DSN] pt-table-checksum通过在master上执行checksum查询来实施在线复制一致性检查，如果在replica上产生不同的checksum结果，replica就和master数据不一致。可选项DSN（MySQL连...
2018-05-08 00:23:54
678
原创 Percona Toolkit使用之pt-summary
pt-summary的功能是优雅地汇总系统信息。 用法如下：pt-summary pt-summary方便地汇总服务器的状态和配置。它并不是一个调优工具或者诊断工具。它生成一个易于diff以及可以不丢失格式粘贴进Email的报告。该工具在很多类型的Unix系统上运行良好。 pt-summary运行大量命令去检查系统状态和配置，保存输出到临时目录文件，然后在这
2018-05-04 20:08:15
1478
原创 Percona Toolkit使用之pt-slave-restart
pt-slave-restart的功能是监控和出错后重启MySQL复制。 用法如下：pt-slave-restart [OPTIONS] [DSN] pt-slave-restart监控一个或者多个MySQL复制slave的错误，然后当复制停止时试图重启。 pt-slave-restart监控一个或者多个MySQL复制slave，试图跳过引起错误的语句。它以
2018-05-04 01:10:56
2855
原创 Percona Toolkit使用之pt-slave-find
pt-slave-find的功能是查找和打印MySQL从库的复制层次树。 用法如下：pt-slave-find [OPTIONS] [DSN] pt-slave-find查找和打印出MySQL从库的层次树。例如：pt-slave-find --host master-host pt-slave-find连接到MySQL复制的master然后查找出其sla
2018-05-03 22:30:29
1016
原创 Percona Toolkit使用之pt-slave-delay
pt-slave-delay的功能是给MySQL slave与它的master之间制造一个延迟。 用法如下：pt-slave-delay [OPTIONS] SLAVE_DSN [MASTER_DSN] pt-slave-delay按照需要启动和关闭slave服务器以使它滞后于master。SLAVE_DSN和MASTER_DSN使用DSN（MySQL连接访问）
2018-04-14 18:00:31
434
原创 Percona Toolkit使用之pt-show-grants
pt-show-grants的功能是格式化打印输出MySQL上的赋权，以便你可以有效地复制、比较以及版本控制。 用法如下：pt-show-grants [OPTIONS] [DSN] pt-show-grants展示一台MySQL服务器的赋权（用户权限）。 使用示例：pt-show-grantspt-show-grants --separa
2018-04-14 14:56:27
2063
原创 Percona Toolkit使用之pt-query-digest
pt-query-digest的功能是分析日志、进程列表以及tcpdump里的MySQL查询。 用法如下：pt-query-digest [OPTIONS] [FILES] [DSN] pt-query-digest分析慢查询日志、查询日志以及二进制日志文件里的MySQL查询。它也可以分析“ SHOW PROCESSLIST ”里的查询以及来自tcpdump的M
2018-04-14 00:05:23
901
原创 Percona Toolkit使用之pt-online-schema-change
pt-online-schema-change的功能是不加锁的情况下更改表。 用法如下：pt-online-schema-change [OPTIONS] DSN pt-online-schema-change在不堵塞读写的情况下修改表结构。在DSN（MySQL连接访问）里指定库和表。在没有认真阅读文档和检查你的备份前，不要使用该工具喲！ ①给`sa
2018-04-12 22:00:14
527
原创 Percona Toolkit使用之pt-mysql-summary
pt-mysql-summary的功能是以优雅的形式汇总MySQL服务器信息。 用法如下：pt-mysql-summary [OPTIONS] pt-mysql-summary方便地汇总出MySQL数据库服务器的状态和配置，使你可以一目了然地获得这些信息。这不是一个调优或者诊断的工具。它会生成一个报告，可以很容易地diff或者不丢失格式地复制到Email里。它应
2018-04-08 03:38:25
1170
原创 Percona Toolkit使用之pt-kill
pt-kill的功能是杀死匹配一定条件的MySQL查询。 用法如下：pt-kill [OPTIONS] [DSN] pt-kill杀死MySQL连接。如果没有给出文件，pt-kill连接到MySQL然后从“ SHOW PROCESSLIST ”命令输出中获取查询。否则，就从包含有“ SHOW PROCESSLIST ”输出的一个或者多个文件中读取查询。如果文件是
2018-04-07 02:35:19
1524
原创 Percona Toolkit使用之pt-heartbeat
pt-heartbeat的功能是监控MySQL复制延迟。 用法如下：pt-heartbeat [OPTIONS] [DSN] --update|--monitor|--check|--stop pt-heartbeat测算MySQL或者PostgreSQL服务器上的复制延迟。你可以使用它来更新master或者监控replica。如若可能，pt-heartbeat从你的.m...
2018-04-03 02:16:42
605
原创 Percona Toolkit使用之pt-fk-error-logger
pt-fk-error-logger的功能是记录MySQL外键错误。其原理、实现、功能以及用法同工具包里面的另一个工具pt-deadlock-logger（https://blog.csdn.net/sweeper_freedoman/article/details/79317758）一致，区别只是在于一个log外键错误另一个log死锁错误。 用法如下：pt-fk-error-
2018-03-31 15:24:38
661
原创 Percona Toolkit使用之pt-duplicate-key-checker
pt-duplicate-key-checker的功能是查找出MySQL表中的重复索引和外键。 用法如下：pt-duplicate-key-checker [OPTIONS] [DSN] pt-duplicate-key-checker通过检查MySQL表来查找重复或者冗余的索引和外键。连接参数读取自MySQL配置文件。pt-duplicate-key-
2018-02-14 00:14:32
753
原创 Percona Toolkit使用之pt-deadlock-logger
pt-deadlock-logger的功能是记录MySQL死锁。 用法如下：pt-deadlock-logger [OPTIONS] DSN pt-deadlock-logger记录给出DSN（MySQL访问连接）上MySQL死锁的信息。死锁信息会打印到STDOUT，也可以通过指定“ --dest ”选项保存到一张表。除非指定了“ --run-time ”或者“
2018-02-12 18:19:33
1017
原创 Percona Toolkit使用之pt-config-diff
pt-config-diff的功能是diff不同的MySQL配置文件以及不同的服务器变量设置。即diff出MySQL实例之间的不同配置。 用法如下：pt-config-diff [OPTIONS] CONFIG CONFIG [CONFIG...] CONFIG可以是配置文件或者DSN（MySQL访问连接）。至少需要给出两个CONFIG。就像标准Unix的“ d
2018-02-05 09:49:45
1312
原创 Percona Toolkit使用之pt-align
pt-align是Percona Toolkit工具包所携带的第一个工具，当然这个第一不是指它的实用性和知名度，只是按最左匹配字母排序的话，“align”靠前而已。因为这个命令的介绍和使用都很简单，所以这篇文章虽然以“pt-align的使用”命名，但是以介绍Percona Toolkit开始。 Percona Toolkit由知名的开源数据库服务商Percona公司开发和支持，是一个优
2018-01-14 23:49:09
804
原创 记一次MySQL Slave崩溃恢复后表不存在的修复过程
近期工作中监控到一台MySQL Slave报了1146的SQL_THREAD ERROR，提示有一张表不存在。当时一脸懵逼，这个报错在我们的MySQL数据中心并没有出现过，而且只是一台MySQL实例突然出现的个体状况。 首先登录Slave去“ SHOW SLAVE STATUS ”，发现报错的语句是一句执行建表操作的DDL，而丢失的表正是该DDL要创建的表。即：在执行创建某表格的操作时
2018-01-14 19:59:41
1142
原创 分享：MySQL5.7源码安装所有deb和rpm依赖包
这篇文章的核心价值在于首次无网络（互联网访问）源码安装MySQL5.7的CM，没错，就像我个人遇到的情况一样。如果可以外网通信，那这里的内容其实是一行apt或者yum命令的事情。 公司为每个员工都提供两台机器，一台内网机一台外网机，内网机没有不能外网通信，但可以通过程序单向接收外网机的文件，即内网机安装软件都要在外网机下载好然后通过单行道扔进内网机。然后只有管理员有权限把文件从内网转入
2018-01-13 00:50:04
2280
原创 配置笔记：Ubuntu和CentOS开启ssh远程访问
不管是自己的个人电脑，还是公司分配的工作机，只要拿到新机器，就一股脑地先装个虚拟机，虚拟机里面装台Ubuntu和CentOS，然后再装远程访问程序ssh和sftp自己虚拟机里面的Linux系统，这已经是我的习惯了，不知道其他系统程序员有没有相同的癖好。Ubuntu是我个人最早接触和最早玩的Linux系统，毕竟完善的图形化界面比较方便新用户入门，目前为止，Ubuntu已经代替了我个人对Wi...
2018-01-12 23:36:38
2430
原创 默认值才是王道：记一次MySQL服务器参数调优之旅
【前言】 最近入职一家新的公司维护MySQL，最开始的工作是配置调优。在研究了我们的业务和前任留下的配置文件后，做了若干基准测试，基于测试结果，对数据库做了一些简单优化。这里整理了部分自己写的测试报告分享一下。【过程】1.环境 ①Slave 64位CentOS服务器： 物理机2核4G；...
2017-12-31 20:08:25
562
原创 MySQL5.7下事务隔离级别对性能的影响
之前工作的公司是一家外包企业，客户基本上都购买云服务，生产MySQL数据库版本是5.6。最近入职了一家新公司，统一使用自己维护的MySQL，版本都是5.7.16。这些天花了不少时间都在做MySQL的基准测试工作，通过测试发现，到了MySQL5.7，事务隔离级别对性能的影响好像已经消除了。 我的测试主要采用MySQL基准测试工具sysbench（https://github.com/ak
2017-12-30 22:44:28
1587
原创 MySQL基准测试小脚本：基于sysbench和tpcc-mysql
最近入职一家新公司，成为100+服务器200+数据库的管理员之一。这几天的工作首先围绕于做MySQL数据库的基准测试，调整一些原参数配置，然后跑一下测试，最后根据测试结果看看参数修改后的效果。因为要频繁改动和测试，就写了一个Shell小脚本。测试工具基于sysbench（https://github.com/akopytov/sysbench）和tpcc-mysql(https://github.
2017-12-30 21:56:05
1316
原创 sed和awk传入外部变量之《鸟哥的Linux私房菜》勘误
sed和awk命令是Unix / Linux系统上面文本处理的强大命令：sed把文本以“ 行 ”为级别来进行就像数据库里面基本的增删改查的操作；awk把一条条文本行分割为若干个“ 字段 ”，然后对这些字段进行操作。对于这两个命令，我是在《鸟哥的Linux私房菜-基础学习篇》（https://book.douban.com/subject/4889838/）这本Linux案头书里面学到的，工作中也常
2017-12-30 20:55:22
732
2
原创 读书笔记：MySQL InnoDB存储引擎关键特性
MySQL InnoDB存储引擎包括以下关键特性：①插入缓冲（Insert Buffer）②两次写（Double Write）③自适应哈希索引（Adaptive Hash Index）④异步IO（Async IO）⑤刷新邻接页（Flush Neighbor Page） 这些特性为InnoDB存储引擎带来了更好的性能和更高的可靠性。
2017-11-07 15:24:39
377
原创 读书笔记：MySQL服务器架构核心模块构成
MySQL服务器架构模块指在逻辑上以某种方式结合在一起的一段代码，并且能在服务器中完成某种特定的功能。到MySQL5.1，其源码可以抽象为以下模块，彼此交互和传递控制权。服务器初始化模块 负责在服务器启动时完成初始化工作，包括解析配置文件和命令行参数、分配全局存储缓冲区、初始化全局变量和结构、加载访问控制表以及其他大量初始化任务。其入口为C/C++程序主函数ma
2017-10-23 01:14:20
427
原创 读书笔记：HTTP概况
Web应用体现为一个个的Web页面（Web page）。Web页面也叫文档，由对象（object）构成。一个object就是一个文件，例如一个HTML文件、一个JPEG图形、一个Java小程序或一个视频片段这样的文件，它们可以通过一个URL地址寻址。每个URL地址由两部分组成：存放对象的服务器主机名和对象的路径名。多数Web页面含有一个HTML基本文件（base HTML file）以及几个引用对
2017-10-17 07:57:55
366
原创 读书笔记：计算机网络基本概念
1.网络 网络就是若干计算机主机或者其他接口设备，通过网线或者无线网络技术连接起来，使得数据得以通过网络介质（网线以及其他网卡等硬件）来传输的一种方式。网络硬件和软件非常多，经IEEE和ISO标准规范的是以太网（Ethernet）和因特网（Internet）。2.计算机网络组成组件节点（node）：具有网络地址（IP）的设备的统称，如一般PC、服务器主机、ADSL调制
2017-10-15 20:39:48
448
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人