2018年08月_Data & safety

转载 MySQL5.6 架构图收藏欣赏

下面是收集的一些MySQL体系架构图等，有必要多看多思考，特别适合看过一遍之后，过一段时间再看一遍，对知识回忆很有好处mysql 架构图来源：Database blog by Rathish kumar来源：江疑innodb 架构图来源：姜老师图比较大，可以单独打开窗口查看...

2018-08-31 20:48:58 477

转载动手为王——6种降低高水位方法，详细验证步骤

降低高水位方法1. movea.move不但可以重置水位线（HWM），解决松散表带来的 IO 浪费，还可以解决表中的行迁移问题；b.move可以将表移动到其他表空间，也可以在原表空移动，这样可以一定程度解决表空间碎片；c.如果表空间上有大量表、索引被 drop（或者 truncate），导致表空间前半部分出现大量空闲空间，可以通过 move 将靠后的表移动到前面的空闲空间，从而收缩...

2018-08-31 20:46:06 2208

转载 oracle wm_concat 拼接乱码

针对oracle拼接函数的乱码，首先查询一下oracle字符的编码是否支持中文，查询语句： SELECT * FROM NLS_DATABASE_PARAMETERS WHERE PARAMETER = ‘NLS_CHARACTERSET’; 如果是中文的，则选择另一种方式： wmsys.wm_concat(to_char(….))..应该加上to_char() 在拼接的字段加上转换。...

2018-08-31 13:11:17 1204

原创 Oracle行列转换

一、建表与插入数据1.1、建表create table kecheng( id NUMBER, name VARCHAR2(20), course VARCHAR2(20), score NUMBER);insert into kecheng (id, name, course, score)values (1, '张三', '语文', 67);in...

2018-08-30 16:52:15 5992

转载 [Oracle] decode 函数及其用法

前言DECODE()函数，它将输入数值与函数中的参数列表相比较，根据输入值返回一个对应值。函数的参数列表是由若干数值及其对应结果值组成的若干序偶形式。当然，如果未能与任何一个实参序偶匹配成功，则函数也有默认的返回值。语法结构如下： decode (expression, search_1, result_1)decode (expression, search_1, resul...

2018-08-30 15:45:30 266

原创使用动态SQL语句实现简单的行列转置（动态产生列）

原始数据如下图所示：（商品的销售明细）date=业务日期；Item=商品名称；saleqty=销售数量；-- 建立测试数据（表）create table test (Date varchar(10), item char(10),saleqty int)insert test values('2010-01-01','AAA',8)insert test values('2010-01...

2018-08-30 15:25:15 1119

转载 Oracle数据库中NOLOGGING和FORCE LOGGING的理解

其实nologging与表模式，插入模式，数据库运行模式(archived/unarchived)都有很大的关系：　　总结如下：　　注意append是一种hint;　　一般我们可以这样来使用　　insert /*+append+/ into mytable values(1,'alan');　　数据库在归档模式下　　当表模式为logging状态时，无论是append模式还是...

2018-08-29 21:06:27 748

转载理解RHEL上安装oracle的配置参数：limits.conf /etc/profile , /etc/pam.d/login

无论安装什么版本的oracle，在安装之前，都需要配置 /etc/pam.d/login /etc/profile /etc/security/limits.conf这三个文件那这三个文件究竟是做什么用的呢？答案就是设置对oracle用户的shell limits。下面就仔细分析一下这几个文件首先需要编辑/etc/security/limits.co...

2018-08-28 20:24:42 692

转载 Oracle性能调整的三把利剑--ASH,AWR,ADDM

ASH (Active Session History)ASH以V$SESSION为基础，每秒采样一次，记录活动会话等待的事件。不活动的会话不会采样，采样工作由新引入的后台进程MMNL来完成。ASH buffers 的最小值为1MB,最大值不超过30MB。内存中记录数据。期望值是记录一小时的内容。生成ASH报告：SQLPLUS>@?/rdbms/ashrpt.sqlASH内存记录数...

2018-08-24 22:19:36 217

转载常见三种存储方式DAS、NAS、SAN的架构及比较

随着主机、磁盘、网络等技术的发展，数据存储的方式和架构也在一直不停改变，本文主要介绍目前主流的存储架构。存储的分类根据服务器类型分为：封闭系统的存储（封闭系统主要指大型机）开放系统的存储（开放系统指基于Windows、UNIX、Linux等操作系统的服务器）开放系统的存储分为：内置存储和外挂存储；外挂存储根据连接的方式分为：直连式存储（Direct-Attached Stor...

2018-08-23 21:13:24 717

转载 Cache和Buffer的区别

结合文章：RAM、ROM、高速缓冲存储区别与联系内存在电脑中起着举足轻重的作用。内存一般采用半导体存储单元，包括随机存储器（RAM），只读存储器（ROM），以及高速缓存（CACHE）。只不过因为RAM是其中最重要的存储器，所以通常所说的内存即指电脑系统中的RAM。 RAM要求每时每刻都不断地供电，否则数据会丢失。如果在关闭电源以后RAM中的数据也不丢失就好了，这样就可以在每一次开机...

2018-08-23 13:52:45 594

转载 Oracle 锁机制探究

以前虽然在网上看到很多关于Oracle锁机制的描述，但总感觉哪里有缺陷不适合自己，因此花了点时间参考官网以及Tom Tyke的《Oracle 9i/10g/11g编程艺术》一书整理了一下Oracle锁相关的知识。Ps：此博客经过多次编辑，以当前版为准。官网网址参考：11.2https://docs.oracle.com/cd/E11882_01/server.112/e40540/...

2018-08-21 20:40:30 347

转载 Oracle优化器介绍（RBO/CBO）和用法

oracle有两种优化器：基于规则的优化器（rbo，rule based optimizer），和基于代价的优化器（cbo，cost based optimizer）。较典型的问题有：有时，表明明建有索引，但查询过程显然没有用到相关的索引，导致查询过程耗时漫长，占用资源巨大，问题到底出在哪儿呢？按照以下顺序查找，基本上能发现原因所在。第一，我们要确定数据库运行在何种优化模式下，相应...

2018-08-19 21:41:12 7478

转载 Oracle RBO、CBO简介

Rule Based Optimizer（RBO）基于规则Cost Based Optimizer（CBO）基于成本，或者讲统计信息ORACLE 提供了CBO、RBO两种SQL优化器。CBO在ORACLE7 引入，但在ORACLE8i 中才成熟。ORACLE 已经明确声明在ORACLE9i之后的版本中(ORACLE 10G )，RBO将不再支持。因此选择CBO 是必然的趋势。CBO和 R...

2018-08-19 21:12:21 267

转载 mysql千万级数据库插入速度和读取速度的调整记录

一般情况下mysql上百万数据读取和插入更新是没什么问题了，但到了上千万级就会出现很慢，下面我们来看mysql千万级数据库插入速度和读取速度的调整记录吧。（1）提高数据库插入性能中心思想：尽量将数据一次性写入到Data File和减少数据库的checkpoint 操作。这次修改了下面四个配置项： 1）将 innodb_flush_log_at_trx_commit 配置设定为0；...

2018-08-19 20:23:00 316

转载快速向表中插入大量数据Oracle中append与Nologging

当需要对一个非常大的表INSERT的时候，会消耗非常多的资源，因为update表的时候，oracle需要生成 redo log和undo log;此时最好的解决办法是用insert, 并且将表设置为nologging;当把表设为nologging后，并且使用的insert时，速度是最快的，这个时候oracle只会生成最低限度的必须的redo log，而没有一点undo信息。如果有可能将index也...

2018-08-18 20:19:27 1244

转载基于CBO的SQL优化和Oracle实例优化

SQL优化是数据优化的重要方面，本文将分析Oracle自身的CBO优化，即基于成本的优化方法。Oracle为了自动的优化sql语句需要各种统计数据作为优化基础。外面会通过sql的追踪来分析sql的执行过程，消耗的资源信息。对于数据库的性能问题往往是在系统部署一段时间之后出现的，即大量用户开始使用该系统，系统的数据处理量和各种计算复杂性增加的时候，这个时候往往会追溯到系统的初始设计阶段，所以我们还是...

2018-08-18 20:16:14 419

转载 ORACLE性能优化之SQL语句优化

操作环境:AIX +11g+PLSQL包含以下内容： 1. SQL语句执行过程2. 优化器及执行计划3. 合理应用Hints4. 索引及应用实例5. 其他优化技术及应用 1.SQL语句执行过程1.1 SQL语句的执行步骤 1）语法分析，分析语句的语法是否符合规范，衡量语句中各表达式的意义。 2）语义分析，检查语句中涉及的所有数据...

2018-08-18 20:12:05 4043

转载 ORACLE优化器RBO与CBO介绍总结

RBO和CBO的基本概念 Oracle数据库中的优化器又叫查询优化器（Query Optimizer）。它是SQL分析和执行的优化工具，它负责生成、制定SQL的执行计划。Oracle的优化器有两种，基于规则的优化器（RBO）与基于代价的优化器（CBO) RBO: Rule-Based Optimization 基于规则的优化器 CBO: Cost-B...

2018-08-18 19:40:28 289

转载 Innodb与Myisam引擎的区别与应用场景

1. 区别：（1）事务处理：MyISAM是非事务安全型的，而InnoDB是事务安全型的（支持事务处理等高级处理）；（2）锁机制不同：MyISAM是表级锁，而InnoDB是行级锁；（3）select ,update ,insert ,delete 操作：MyISAM：如果执行大量的SELECT，MyISAM是更好的选择InnoDB：如果你的数据执行大量的INSERT或UP...

2018-08-11 19:44:05 255

转载 ubuntu 16.04 安装 PostgreSQL-9.6 及用pgadmin4连接测试

PostgreSQL 简介PostgreSQL是一款强大的高性能的对象关系型数据库管理系统（ORDBMS），采用与BSD一样的授权方式。 PostgreSQL是非常适合大型数据库，有许多先进的功能。 PostgreSQL支持许多操作系统，包括Linux，FreeBSD，Solaris和Microsoft Windows。服务器1台，版本 : ubuntu16.04 windows7电脑...

2018-08-07 13:55:25 617

转载安装、配置、启动、操作、关闭Redis

一.在Linux上安装RedisRedis能够兼容绝大部分的POSIX系统，例如Linux、OS X、OpenBSD、NetBSD和FreeBSD，其中比较典型的是Linux操作系统（例如CentOS、Redhat、Ubuntu、Debian、OS X等）。在Linux安装软件通常有两种方法，第一种是通过各个操作系统的软件管理软件进行安装，例如CentOS有yum管理工具，Ubuntu有apt...

2018-08-04 19:02:07 398

转载 Postgres数据库忘记密码,三个步骤解决

核心提示：Postgres数据库忘记密码,三个步骤解决Postgres数据库忘记密码,三个步骤解决一、修改data目录下的 pg_hba conf 文件将以下这行host all all 127 0 0 1 32 md5改为如下Postgres数据库忘记密码,三个步骤解决Postgres数据库忘记密码,三个步骤解决一、修改data目录下的 pg_hba.conf 文件将以下这行...

2018-08-02 11:08:34 8003

Data & Analysis