- 博客(189)
- 收藏
- 关注
RSS订阅转载 14. Redis配置统计字典
14. Redis配置统计字典14.1 info系统状态说明14.1.1 命令说明14.1.2 详细说明14.2 standalone配置说明和分析14.2.1 总体配置14.2.2 最大内存及策略14.2.3 AOF相关配置14.2.4 RDB相关配置14.2.5 慢查询配置14.2.6 数据结构优化配置14.2.7 复制相关配置14.2.8 客户端相关配置14.2.9 安全相关配置1...
2019-09-23 14:21:16
130
转载 13. Redis监控运维云平台CacheCloud
13. Redis监控运维云平台CacheCloud13.1 CacheCloud是什么13.1.1 现有问题13.1.2 CacheCloud基本功能13.2 快速部署13.2.1 CacheCloud环境需求13.2.2 CacheCloud快速开始13.3 机器部署13.3.1 部署脚本13.3.2 添加机器13.4 接入应用13.4.1 总体流程13.4.2 账户申请和审批13....
2019-09-23 14:21:14
152
转载 11.Redis缓存设计
11.Redis缓存设计11.1 缓存的收益和成本11.2 缓存更新策略11.3 缓存粒度控制11.4 穿透优化11.5 无底洞优化11.6 雪崩优化11.7 热点key重建优化11.8 本章重点回顾转载于:https://www.cnblogs.com/BradMiller/p/10445938.html...
2019-09-23 14:21:11
114
转载 7.Redis主线程阻塞原因
7.Redis主线程阻塞原因7.1 发现阻塞7.2 内在原因7.2.1 API或数据结构使用不合理7.2.2 CPU饱和7.2.3 持久化阻塞7.3 外在原因7.3.1 CPU竞争7.3.2 内存交换7.3.3 网络问题7.4 本章重点回顾转载于:https://www.cnblogs.com/BradMiller/p/10445923.html...
2019-09-23 14:21:07
169
转载 6. Redis复制
6. Redis复制6.1 配置6.1.1 建立复制6.1.2 断开复制6.1.3 安全性6.1.4 只读6.1.5 传输延迟6.2 拓扑6.3 原理6.3.1 复制过程6.3.2 数据同步6.3.3 全量复制6.3.4 部分复制6.3.5 心跳6.3.6 异步复制6.4 开发与运维中的问题6.4.1 读写分离6.4.2 主从配置不一致6.4.3 规避全量复制6.4.4 规避复制风暴6....
2019-09-23 14:21:05
52
转载 5. Redis持久化
5. Redis持久化5.1 RDB5.1.1 触发机制5.1.2 流程说明5.1.3 RDB文件的处理5.1.4 RDB的优缺点5.2 AOF5.2.1 使用AOF5.2.2 命令写入5.2.3 文件同步5.2.4 重写机制5.2.5 重启加载5.2.6 文件校验5.3 问题定位与优化5.3.1 fork操作5.3.2 子进程开销监控和优化5.3.3 AOF追加阻塞5.4 多实例部署5...
2019-09-23 14:21:03
53
转载 32.Mysql Cluster
32.Mysql Cluster Cluster是一组节点的组合。节点分为数据节点、SQL节点、管理节点。节点组合在一起可以为应用提供高可用、高性能、可缩放的Cluster数据管理。数据节点使用NDB存储引擎存储数据。Mysql Cluster的特点：数据分布式存储，数据冗余策略，节点可扩展的架构。Mysql Cluster的目的：满足更大规模的应用，提高系统的可靠性和数据的有效性。My...
2019-09-23 14:21:01
64
转载 30.Mysql常见问题和应用技巧
30.Mysql常见问题和应用技巧30.1 忘记Mysql的root密码30.2 如何处理MyISAM存储引擎的表损坏 30.2.1 方法一：使用myisamchk工具 30.2.2 方法二：使用SQL命令30.3 MyISAM表超过4GB无法访问的问题30.4 数据目录磁盘空间不足的问题 30.4.1 对于MyISAM存储引擎的表 30.4.2 对于Innodb存储引擎的表30...
2019-09-23 14:20:58
59
转载 29.Mysql监控
29.Mysql监控29.1 如何选择一个监控方案 29.1.1 选择何种监控方式 29.1.2 如何选择合适自己的监控工具29.2 常用网络监控工具 29.2.1 Cacti简介 29.2.2 Nagios简介 29.2.3 Zabbix简介 29.2.4 几种常见开源软件比较29.3 Zabbix部署 29.3.1 Zabbix Server软件安装 29.3.2 Z...
2019-09-23 14:20:56
56
转载 27.MySQL备份与恢复
27.备份与恢复27.1 备份/恢复策略考虑因素：备份表的存储引擎(事务性or非事务性)；全备份or增量备份用复制做异地备份定期备份，考虑恢复时间确保mysql打开log-bin,有了BINLOG，Mysql才可以在必要的时候做完整恢复，或基于时间点的恢复，或基于位置的恢复经常做备份恢复测试，确保备份的有效性。27.2 逻辑备份和恢复优点：对于各种存储引擎都可以用同样的方法来备份。缺...
2019-09-23 14:20:54
120
转载 12.Redis运维点
12.Redis运维点12.1 Linux配置优化12.1.1 内存分配控制12.1.2 swappiness12.1.3 THP12.1.4 OOM killer12.1.5 使用NTP12.1.6 ulimit12.1.7 TCP backlog12.2 flushall/flushdb误操作12.2.1 缓存与存储12.2.2 借助AOF机制恢复12.2.3 RDB有什么变化12....
2019-09-23 14:20:54
56
转载 10.Redis分布式集群
10.Redis分布式集群10.1 数据分布10.1.1 数据分布理论10.1.2 Redis数据分区10.1.3 集群功能限制10.2 搭建集群10.2.1 准备节点10.2.2 节点握手10.2.3 分配槽10.2.4 用redis-trib.rb搭建集群10.3 节点通信10.3.1 通信流程10.3.2 Gossip消息10.3.3 节点选择10.4 集群伸缩10.4.1 伸缩原...
2019-09-23 14:20:52
60
转载 23.Mysql应用优化
23.应用优化23.1 使用连接池应用启动时创建好连接，以供用户使用，而不是每次创建。23.2 减少对Mysql的访问 23.2.1 避免对同一数据做重复检索合并简单查询，减少访问次数。 23.2.2 使用查询缓存Mysql查询缓存能够存储select查询的文本和结果，收到相同查询时直接从缓存输出不再解析SQL执行查询。查询缓存适用于更新不频繁的表，当表结构或数据更新时，已缓存的...
2019-09-23 14:20:51
59
转载 8.Redis内存分配
8.Redis内存分配8.1 内存消耗8.1.1 内存使用统计8.1.2 内存消耗划分8.1.3 子进程内存消耗8.2 内存管理8.2.1 设置内存上限8.2.2 动态调整内存上限8.2.3 内存回收策略8.3 内存优化8.3.1 redisObject对象8.3.2 缩减键值对象8.3.3 共享对象池8.3.4 字符串优化8.3.5 编码优化8.3.6 控制键的数量8.4 本章重点回顾...
2019-09-23 14:20:50
89
转载 22.Mysql磁盘I/O
22.磁盘I/O问题磁盘IO是数据库性能瓶颈，一般优化是通过减少或延缓磁盘读写来减轻磁盘IO的压力及其对性能的影响。增强磁盘读写性能和吞吐量也是重要的优化手段。22.1 使用磁盘阵列 RAID（Redundant Array of Inexpensive Disk）是指廉价磁盘冗余阵列，即磁盘阵列。 RAID按照一定的策略将数据分布到若干物理磁盘上，增加数据存储的可靠性，提高数据...
2019-09-23 14:20:49
110
转载 9.Redis高可用-哨兵
9.Redis高可用-哨兵9.1 基本概念9.1.1 主从复制的问题9.1.2 高可用9.1.3 Redis Sentinel的高可用性9.2 安装和部署9.2.1 部署拓扑结构9.2.2 部署Redis数据节点9.2.3 部署Sentinel节点9.2.4 配置优化9.2.5 部署技巧9.3 API9.4 客户端连接9.4.1 Redis Sentinel的客户端9.4.2 Redis...
2019-09-23 14:20:48
54
转载 21.Mysql Server优化
21.优化Mysql Server21.1 Mysql体系结构概览Mysql由Mysql Server层和存储引擎层组成。Mysql实例由一组后台进程、一写内存块和若干服务线程组成。Mysql后台进程分为8类，1个主线程、4组IO线程、1个锁线程、1个错误监控线程、1个purge线程。 主线程master thread:负责将脏缓存页刷新到数据文件，执行purge操作，触发检查点，合并...
2019-09-23 14:20:46
81
转载 19.Mysql优化数据库对象
19.优化数据库对象19.1 优化表的数据类型应用设计时需要考虑字段的类型和长度，并留有一定长度冗余。procedure analyse()函数可以对表中列的数据类型提出优化建议。procedure analyse()函数用法：select * from 表名 procedure analyse(); -- 对所有列提出优化建议select * from 表名 procedu...
2019-09-23 14:20:44
55
转载 4.Redis客户端
4.Redis客户端4.1 客户端通信协议4.2 Java客户端Jedis4.2.1 获取Jedis4.2.2 Jedis的基本使用方法4.2.3 Jedis连接池的使用方法4.2.4 Redis中Pipeline的使用方法4.2.5 Jedis的Lua脚本4.3 Python客户端redis-py4.3.1 获取redis-py4.3.2 redis-py的基本使用方法4.3.3 re...
2019-09-23 14:20:44
66
转载 3.Redis高级功能
3.Redis高级功能3.1 慢查询分析3.1.1 慢查询的两个配置参数3.1.2 最佳实践3.1.3 单线程架构3.2 Redis Shell3.2.1 redis-cli 详解3.2.2 redis-server 详解3.2.3 redis-benchmark 详解3.3 Pipeline3.3.1 Pipeline概念3.3.2 性能测试3.3.3 原生批量命令与Pipeline对...
2019-09-23 14:20:42
47
转载 18.Mysql SQL优化
18.SQL优化18.1 优化SQL语句的一般步骤 18.1.1 通过show status命令了解各种SQL的执行频率show [session|global] status; -- 查看服务器状态信息show session status; -- 查看session（当前连接）级别的服务器状态信息，默认session级别show global status...
2019-09-23 14:20:42
86
转载 2.Redis五种数据结构
2.Redis五种数据结构2.1 预备2.1.1 全局命令2.1.2 数据结构和内部编码2.1.3 单线程架构2.2 字符串2.2.1 命令2.2.2 内部编码2.2.3 典型使用场景2.3 哈希2.3.1 命令2.3.2 内部编码2.3.3 使用场景2.4 列表2.4.1 命令2.4.2 内部编码2.4.3 使用场景2.5 集合2.5.1 命令2.5.2 内部编码2.5.3 使用场景2...
2019-09-23 14:20:40
67
转载 16.Mysql SQL Mode
16.SQL Mode及相关问题SQL Mode定义了Mysql支持的SQL语法和数据校验级别，Mysql支持多种SQL Mode。用途： 设置不同的SQL Mode可以对数据进行不同严格程度的校验，即在不同应用环境提供不同的数据质量； 设置不同的SQL Mode可以方便数据迁移至目标数据库； ANSI模式可以保证大多数SQL符合SQL标准语法，方便应用在不同数据库上迁移。16.1...
2019-09-23 14:20:39
54
转载 14.Mysql事务控制和锁定
14.事务控制和锁定存储引擎和锁： MyISAM和MEMORY存储引擎的表支持表级锁； BDB存储引擎的表支持页级锁； InnoDB存储引擎的表支持行级锁。默认情况下，表锁和行锁都是根据执行的语句自动获得和释放，不需要额外处理。用户也可根据业务需要来手动添加和释放锁，以保证事务的完整性。14.1 Lock table和Unlock tableLock table可以锁定用于当前...
2019-09-23 14:20:37
71
转载 1.Redis简介
1.Redis简介1.1 盛赞Radis1.2 Radis特性1.3 Radis使用场景1.3.1 Radis可以做什么1.3.2 Radis不可以做什么1.4 用好Radis的建议1.5 正确安装并启动Radis1.5.1 安装Radis1.5.2 配置、启动、操作、关闭Radis1.6 Radis重大版本1.7 本章重点回顾转载于:https://www.cnblogs.com/...
2019-09-23 14:20:37
40
转载 13.Mysql触发器
13.触发器13.1 创建触发器定义：触发器是与表有关的数据库对象，在满足定义条件时触发，并执行触发器中定义的语句集合。语法：create trigger 触发器名称 触发时机 触发事件 on 表名 for each row begin 触发动作;end$$说明：触发时机分为before和after，表示触发器在DML语句之前还是之后触发。触发事件分为insert、update、del...
2019-09-23 14:20:35
78
转载 33.MySQL高可用架构
33.高可用架构33.1 MMM架构MMM(Master-Master replication manager for MySQL)是一套支持双主故障切换和双主日常管理的脚本程序(Perl)。主要用来监控和管理MySQL Master-Master双主复制。优点：故障切换、多个Slave的read负载均衡。缺点：无法完全保证数据一致性。33.2 MHA架构MHA(Master Hig...
2019-09-23 14:20:35
79
转载 31.Mysql复制
31.Mysql复制复制是指将主数据库的DDL和DML操作通过二进制日志传到从数据库上，然后在从数据库上对重做日志，从而使从库与主库保持同步。Mysql支持一台主库同时向多台从库复制，从库也可以作为其他从库的主库，实现链状的复制。Mysql复制优点： 如果主库出现问题，可以快速切换到从库提供服务； 可以在从库上执行查询操作，降低主库的访问压力； 可以在从库上执行备份操作，避免备份对...
2019-09-23 14:20:33
157
转载 6.MySQL图形化工具的使用
6.图形化工具的使用6.1 Mysql Workbench Mysql Workbench是Mysql官方推出的集成图形化工具，替代了之前的图形化管理工具Mysql Administrator和图形化查询工具Mysql Browser， 并集成了数据建模、Mysql工具箱、数据迁移工具、Workbench论坛等新功能，使用起来更加方便快捷。 6.1.1 SQL开发 1.新建连接c...
2019-09-23 14:20:31
262
转载 5.Mysql常用函数
5.常用函数函数可以进行字符串的处理、数值计算和日期计算等，mysql可以用在SQL(DML)中以增加SQL的功能。5.1 数值函数1. abs(x) 返回x的绝对值select abs(5),abs(-5);2. ceil(x) 向上取整select ceil(5.01),ceil(-5.01); -- 正负号结果不一致3. floor(x) 向下取整select floor(5...
2019-09-23 14:20:29
337
转载 26.mysql日志
26.mysql日志mysql日志包括：错误日志、二进制日志、查询日志、慢查询日志。26.1 错误日志错误日志记录了mysqld启动到停止之间发生的任何严重错误的相关信息。mysql故障时应首先查看错误日志。可以用--log-error= 选项来指定mysqld起动后错误日志保存得路径和文件名。不指定时默认路径为数据目录(datadir参数指定)，默认文件名为host_name.er...
2019-09-23 14:20:29
35
转载 4.Mysql中的运算符
4.Mysql中的运算符运算符用来连接表达式。运算符包括：算术运算符、比较运算符、逻辑运算符、位运算符。4.1 算术运算符算术运算符包括加(+)、减(-)、乘(*)、除(/)、取模(%,MOD) 5种。例子：select 2+3,5-3,2*3,7/3,7%3,MOD(7,3);select 7/0,7%0,MOD(7,0); -- ok 除数为0时不报错，但结...
2019-09-23 14:20:27
53
转载 25.mysql中的常用工具
25.mysql中的常用工具25.1 mysql客户端连接工具跳转至mysql安装目录下的bincd C:\Program Files\MySQL\MySQL Server 5.7\binmac下cd /usr/local/Cellar/[email protected]/5.7.22/bincd /usr/local/mysql/bin mysql [选项] [database]; --连接数据...
2019-09-23 14:20:27
110
转载 24.Mysql高级安装和升级
24.Mysql高级安装和升级24.1 Linux/Unix平台下的安装 24.1.1 安装包比较Linux下的Mysql安装包分为RPM包、二进制包、源码包3种。RPM包优点是安装简单，适合初学者；缺点是默认路径不能修改，服务端和客户端分别安装，一台服务器只能安装一个Mysql。RPM包文件布局：/usr/bin/mysql客户端程序和脚本，/usr/sbin/mysqld服务器，/...
2019-09-23 14:20:25
58
转载 2.Mysql SQL基础
2.Mysql SQL基础2.1 SQL简介 SQL(Structure Query Language)是结构化查询语言。2.2 SQL使用入门 2.2.1 SQL分类 SQL分为DDL、DML(DQL)、DCL3类。 DDL（Data Definition Language）数据定义语言，用来定义数据库对象，如：表、列、索引、数据库(模式)等，包括：create\drop\al...
2019-09-23 14:20:24
74
转载 Informatica_(4)工作流
三、workflow执行、监控 workflow是PowerCenter的执行单元； 一个workflow包括一个或者多个session（或task）。1.session session是mapping的实例化。 session是给mapping提供配置文件的场所或机制。 有了这些配置信息，mapping就可以执行了，所以说session是mapping的一个可执行实例...
2019-09-23 14:20:22
2879
转载 20.Mysql锁机制
20.锁问题锁是计算机协调多个进程或线程并发访问某一资源的机制。20.1 Mysql锁概述锁类型分为表级锁、页面锁、行级锁。表级锁：一个线程对表进行DML时会锁住整张表，其它线程只能读该表，如果要写该表时将产生锁等待。 优点：开销少、加锁快、不会产生死锁。缺点：锁粒度大、容易产生锁等待、并发低。行级锁：一个线程对表进行DML时会锁住该表影响的行，其它线程可以读该表，也可以DML...
2019-09-23 14:20:21
52
转载 Informatica_(3)组件
一、Informatica介绍Informatica PowerCenter 是Informatica公司开发的世界级的企业数据集成平台，也是业界领先的ETL工具。Informatica PowerCenter使用户能够方便地从异构的已有系统和数据源中抽取数据，用来建立、部署、管理企业的数据仓库，从而帮助企业做出快速、正确的决策。此产品为满足企业级要求而设计，可以提供企业部门的数据和电子...
2019-09-23 14:20:20
989
转载 17.Mysql分区
17.Mysql分区分区是指根据一定的规则把一个表分解成多个部分，逻辑上仍是一张表，实际上由多个物理分区对象组成。分区对于应用是完全透明的，不影响业务逻辑和SQL编写。分区的优点： 可以存储更多的数据； 优化查询；当where条件包含分区键时只在特定的分区查询；当涉及聚合函数时每个分区可以并行查询。 可以通过分区快速删除过期数据； 可以将不同的分区分散在多个磁盘上，获取更高的磁盘...
2019-09-23 14:20:19
66
转载 Linux_(2)基本命令(下)
六、文件搜索命令11 ：which功能描述：显示系统命令所在目录命令所在路径：/usr/bin/which执行权限：所有用户语法：which [命令名称]范例：$ which ls 12 ：find功能描述：查找文件或目录命令所在路径：/usr/bin/find执行权限：所有用户语法：find [搜索路径] [搜寻关键字]例1：在目录/etc中查找文件initfind /etc ...
2019-09-23 14:20:16
62
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人