2016年03月_南山行者

12月 08月 05月 04月 03月 02月 01月

转载关系模型、维度模型

关系模型1. 以遵循第三范式（3NF）为基础的关系模型，从ER图的“观感”上来说，较为松散、零碎，物理表数量多，而数据冗余程度低。由于数据分布于众多的表中，这些数据可以更为灵活地被应用，功能性较强2. 主要应用于事务型数据库3. 在数据仓库领域的倡导者：Inmon。4.在Inmon的理念中（可见“参考3”链接），DW并不直接用于DSS/BI等应用，而是作为一个平台，其模型为3N

2016-03-31 16:53:08 3267

转载数据仓库分层

数据仓库的分层可以算是数据仓库架构的子话题。在前段时间参与的一次讨论中，笔者发现其中争论的焦点集中在每一层的作用、特点、是否有必要存在等问题。其中，大家虽然一致提到某些相关概念，但各方的理解却并非完全一致。例如对于ODS是什么、维度建模是什么等问题的解读，都是如此。不妨想想看：数据从分散而异构的数据源中长途跋涉，到最终的报表、仪表盘、OLAP应用等等，让用户看到一致的结果，这是一个过程。记得以

2016-03-31 16:52:40 2632 1

转载维度建模的基本概念及过程

0 引言与流行的说法不同，RalphKimball本人并没有定义“维度”和“事实”这样的术语。术语“维度”与“事实”，最初是20世纪60年代在一个由GeneralMills与Dartmouth大学主持的联合研究计划中提出的。70年代，ACNielsen和IRI都一致地使用这些术语描述他们的数据发布应用，用现在更为准确的话来说，就是关于零售数据的维度数据集市（DataMart）。在简明性成为生活

2016-03-31 16:50:22 1748

原创 zabbix配置点

一、拓墣图每个项的参数请参考《zabbix agent 类型所有key 》

2016-03-23 17:07:22 403

转载 PowerDesigner建模经验

1.工具栏不见了PowerDesigner 快捷工具栏 palette不见了，怎么重新打开，找回来呢Tools（工具栏）customsize toolbars（自定义工具栏）palette(调色板)勾选2. 修改外键命名规则选择Database—>Edit Current DBMS选择Scripts－》Objects－》Reference－》ConstName可

2016-03-23 14:28:29 2348

原创 hadoop学习之-hive-数据操作

1、查询数据库hive> show databases;2、查询表hive> show tables;3、创建表CREATE TABLE login( userid BIGINT, ip STRING, time BIGINT) PARTITIONED BY(dt STRING) ROW FORMAT DELIMITED FIELDS

2016-03-22 14:57:44 608

转载 hadoop学习之-hive-数据模型

1.Database：相当于关系数据库里的命名空间（namespace），它的作用是将用户和数据库的应用隔离到不同的数据库或模式中，该模型在hive 0.6.0之后的版本支持，hive提供了create database dbname、use dbname以及drop database dbname这样的语句。2.表（table）：hive的表逻辑上由存储的数据和描述表格中的数据形式的相关元数

2016-03-22 14:31:56 2084

zabbix服务器端通过与zabbix agent通信来获取客户端服务器的数据，agent分为两个版本，其中一个是主动一个是被动，在配置主机我们可以看到一个是agent，另一个是agent（active）。前者为被动检测，后者为主动检测。那么主动和被动区别在哪里呢？被动：zabbix server向zabbix agent讨要数据。主动：zabbix agent提交数据给zabbix server

2016-03-17 17:56:56 3013

转载 zabbix3.0安装

环境Centos 7.1MySQL 6.5zabbix 3.0一、安装mysql服务器1.主机上安装mysql：tar xf mariadb-10.0.20-linux-x86_64.tar.gz -C /usr/local/cd /usr/local/ln -sv mariadb-10.0.20-linux-x86_64 mysqluseradd -r

2016-03-15 16:30:59 868

原创 MySQL增量备份

两种方法一，mysqldump(全备) + binlog(增备)mysqldump每周做一次全备，参数带上--master-data=2，能看到当前DB最后的pos点，在master-slave中能看到主的最后pos以便change master，在恢复时也提供binlog恢复的起点；--single-transaction，设定本次会话的隔离级别为：REPEATABLE READ，以确保

2016-03-11 14:25:50 824

原创 MySQL在线DLL测试

MySQL5.5和之前版本，在运行的生产环境对大表（超过数百万纪录）执行Alter操作是一件很困难的事情。因为将重建表和锁表，影响用户者的使用。MySQL5.6提供了在线DDL，并且不锁表的功能，如果数据量不是特别大，通常可以使用alter。目前在线DLL，有四种办法一、alter table xxxxx; 优点：不阻塞读写，消耗时间长二：alter table xxx

2016-03-09 15:43:53 6397

原创 58同城扩展性架构实践的总结

下面是原文文章只是把大概的步骤描述了，看到这里，其实很多人都会觉得有问题。比如从升为主，那么就有两个库的数据相同，而新的mod规则只会到一个库，新的数据能分布到所有库，而老的数据，肯定存在冗余，而且无法对应mod规则。还有“把多余的数据删除掉”，什么意思之类的问题。也是因为文章写得很简单，没有详细说明做法，我画了一个图上方的红框就是使用hash，分了2个库，各一个备库。现在要做mod的2倍扩容，步...

2016-03-03 16:17:02 814

转载创建,增加，删除mysql表分区

1.测试添加分区和删除分区###添加删除range分区(1)创建一个分区：CREATE TABLE titles ( emp_no INT NOT NULL, title VARCHAR(50) NOT NULL, from_date DATE NOT NULL, to_date D

2016-03-03 13:54:17 4247

转载一致性哈希算法

一致性hash算法（consistenthashing）张亮consistent hashing算法早在1997年就在论文Consistenthashing and random trees中被提出，目前在cache系统中应用越来越广泛；1基本场景比如你有N个cache服务器（后面简称cache），那么如何将一个对象object映射到N个cache上呢，你很可能会采用类似下面的通用

2016-03-03 11:33:14 584

转载利用一致性哈希水平拆分MySql单表

Sharding（切片）不是一门新技术，而是一个相对简朴的软件理念，就是当我们的数据库单机无法承受高强度的i/o时，我们就考虑利用 sharding 来把这种读写压力分散到各个主机上去。所以Sharding 不是一个某个特定数据库软件附属的功能，而是在具体技术细节之上的抽象处理，是Horizontal Partitioning 水平扩展(或横向扩展)的解决方案，其主要目的是为

2016-03-03 11:20:03 960

原创 mysql分库分表方案浅析

分库分表(这里不讨论中间件)分库：原因：单机负载大，优点：降低单机负载，难度小分表：原因：单表增删改查慢，优点：使用多个表，提高读写效率，难度大分表：在一个库中进行进行分表，有两种方法1、mysql表分区使用表分区时，分区字段。需要根据业务来定，这里所说的业务，指的就是需要做分表的表会和哪些业务相关，比如订单表，主键是订单ID，分表时，需要结合业务综合看待。

2016-03-02 16:56:46 2060

原创数据库分表实施策略

一、普通hash取余假设有一张记录用户购买信息的订单表order,由于order表记录条数太多，将被拆分成256张表。拆分的记录根据user_id%256取得对应的表进行存储，前台应用则根据对应的user_id%256,找到对应订单存储的表进行访问。在缓存服务器采用这种策略，当出现下面的情况1 、一个 cache 服务器 m down 掉了（在实际应用中必须要

2016-03-01 15:31:50 879