wzy0623的专栏

数据库、数据仓库、大数据

原使用MMM实现MySQL双主复制高可用

一、MMM简介 1. 概述 MMM（Master-Master replication manager for MySQL）是一套支持双主故障切换和双主日常管理的脚本程序。MMM使用Perl语言开发，主要用来监控和管理MySQL Master-Master（双主）复制，可以说是...

2018-08-02 15:45:04

阅读数：182

评论数：0

原使用MHA实现MySQL主从复制高可用

目录一、MHA简介二、实验架构设计 1. 基本环境 2. 架构设计三、MHA安装配置 1. 配置主从复制 2. 安装Perl等依赖模块 3. 配置SSH登录无密码验证 4. 安装MHA Node 5. 安装MHA Manager 6. 配置MHA 7. 创建相关脚本 ...

2018-07-31 16:37:10

阅读数：120

评论数：0

原 Heartbeat + haproxy + MySQL主从复制实现读写分离及高可用

目录一、架构设计 1. 基本环境 2. 架构二、安装配置 1. 配置MySQL半同步复制 2. 安装配置haproxy 3. 安装配置Heartbeat 4. 创建相关脚本文件 5. 启动Heartbeat和haproxy 三、功能测试参考：一、架构设计 1. 基...

2018-07-27 13:22:11

阅读数：65

评论数：0

原 Heartbeat + haproxy + MySQL双主复制实现读写负载均衡及高可用

目录一、中间件简述 1. Heartbeat简介 2. haproxy简介二、安装配置 1. 基本环境 2. 配置MySQL双主复制 3. 安装配置haproxy 4. 安装配置Heartbeat 5. 创建MySQL服务检测脚本三、功能测试 1. 验证haproxy的...

2018-07-26 13:47:10

阅读数：70

评论数：0

原使用Heartbeat实现MySQL主从高可用

目录一、Heartbeat简介二、安装Heartbeat 1. 下载软件包 2. 初始配置三、配置 1. 编辑配置文件ha.cf 2. 编辑认证文件authkeys 3. 编辑资源配置文件haresources 4. 创建MySQL服务检测脚本四、测试参考： ...

2018-07-24 17:50:36

阅读数：198

评论数：0

原使用MySQL Router实现高可用、负载均衡、读写分离

目录一、MySQL Router简介 1. 功能 2. 架构 3. 使用二、安装配置三、自动失败切换四、负载均衡五、读写分离六、多实例 1. 环境 2. 配置文件 3. 功能测试参考：一、MySQL Router简介 MySQL Rou...

2018-07-18 19:25:04

阅读数：139

评论数：0

原 Keepalived+LVS+MySQL主从复制实现读写分离及高可用

目录一、架构设计二、安装配置 1. 配置MySQL半同步复制 1.1半同步复制的基本概念 1.2半同步复制的潜在问题 1.3 半同步复制的安装部署 2. 下载安装LVS 3. 下载安装Keepalived 4. iptables配置 5. Keepalived配置 5. ...

2018-07-14 18:20:02

阅读数：190

评论数：0

原 Keepalived+LVS+MySQL双主复制实现读写负载均衡及高可用

目录一、Keepalived和LVS简介 1. Keepalived简介 2. LVS简介二、安装配置 1. 下载安装LVS 2. 下载安装Keepalived 3. Keepalived配置 5. 编写RealServer的网络配置脚本三、测试四、总结参考： ...

2018-07-12 15:17:22

阅读数：132

评论数：1

原使用Keepalived实现MySQL主从高可用

目录一、问题提出二、方案选择三、Keepalived简介 1. VRRP 1.1 VRRP协议 1.2 工作机制 2. Keepalived设计与实现 1.1 多进程模式 1.2 控制面板 1.3 看门狗 1.4 IPVS封装四、安装配置 1. 安装keepali...

2018-07-04 18:15:48

阅读数：229

评论数：1

原 OushuDB入门（八）——AI篇

一、OushuDB AI简介 OushuDB可集成MADlib机器学习库作为其AI组件。现在OushuDB通过MADlib已经支持了大部分机器学习算法，正在研发一个新的组件以支持深度学习。OushuDB对MADlib进行了增强和优化，并在此基础上提出了AI-in-Database的概...

2018-05-24 13:46:38

阅读数：410

评论数：0

原 OushuDB入门（七）——OLAP篇

一、OLAP简介1. 概念 OLAP是英文是On-Line Analytical Processing的缩写，意为联机分析处理。此概念最早由关系数据库之父E.F.Codd于1993年提出。OLAP允许以一种称为多维数据集的结构，访问业务数据源经过聚合和组织整理后的数据。以此为标准，O...

2018-05-23 18:08:56

阅读数：366

评论数：0

原 OushuDB入门（六）——任务调度篇

一旦数据仓库开始使用，就需要不断从源系统给数据仓库提供新数据。为了确保数据流的稳定，需要使用所在平台上可用的任务调度器来调度ETL定期执行。调度模块是ETL系统必不可少的组成部分，它不但是数据仓库的基本需求，也对项目的成功起着举足轻重的作用。本篇说明如何使用HDP中的Oozie和F...

2018-05-22 17:49:48

阅读数：270

评论数：0

原 OushuDB入门（五）——ETL篇

一、初始装载1. 用sqoop用户建立初始抽取脚本本示例要用Sqoop将MySQL的数据抽取到Hive ORC外部表，然后利用OushuDB ORC外部表功能将数据装载到内部表中。表1汇总了示例中维度表和事实表用到的源数据表及其抽取模式。源数据表 HDFS目录对应RDS模式中...

2018-05-11 17:17:03

阅读数：435

评论数：1

原 OushuDB入门（四）——数仓架构篇

本实验将应用OushuDB数据库，为一个销售订单系统建立数据仓库。通过这个简单的示例，讨论如何利用OushuDB提供的特性，在Hadoop上建立数据仓库系统。本篇说明示例的业务场景、数据仓库架构、实验环境、源和目标库的建立过程、测试数据和日期维度的生成。后面陆续进行初始ETL、定期...

2018-05-10 16:03:08

阅读数：495

评论数：0

原 OushuDB入门（三）——高可用篇

一、OushuDB高可用简介 OushuDB作为一个传统数据仓库在Hadoop上的替代品，其高可用性至关重要。通常硬件容错、OushuDB HA、HDFS HA是保持系统高可用时需要考虑并实施的三个层次。另外实时监控和定期维护，也是保证集群所有组件健康的必不可少的工作。 ...

2018-05-04 15:12:40

阅读数：160

评论数：0

原 OushuDB入门（二）——性能篇

一、OushuDB新版本的性能提升 Oushu Database 2.2版本的执行器基于Apache HAWQ的执行器，而Apache HAWQ的执行器起源于Greenplum Database和PostgreSQL，是一个很成熟的执行器，经过多年的优化和沉淀。而Oushu Data...

2018-04-20 16:12:43

阅读数：420

评论数：1

原 OushuDB入门（一）——安装篇

OushuDB是由Apache HAWQ创始团队基于HAWQ打造的新一代数据仓库(New Data Warehouse)。该产品采用了存储与计算分离技术架构，具有MPP的所有优点，还具有弹性，支持混合工作负载和高扩展性等优点。作为HAWQ的增强版，OushuDB遵循ANSI-SQL...

2018-04-11 17:17:48

阅读数：851

评论数：5

原第二本书出版啦！

这是目前唯一一本介绍HAWQ技术的中文书。涵盖HAWQ技术解析、其上的数仓架构及实现、简单数据挖掘三部分，内容较为全面，每部分均有详细配置说明及示例代码。用不打折扣的SQL教据库玩转大数据，无论是学习、开发，还是部署、运行，HAWQ是你的效率之选! 我体验的HAWQ五...

2018-03-27 13:39:59

阅读数：579

评论数：8

译 MADlib——基于SQL的数据挖掘解决方案（30）——模型评估之预测度量

一、预测度量该模块提供了一组度量来评估模型预测的质量。除非另有说明，典型的函数将采用一组“预测”和“观察”值，并使用它们来计算所需的度量。所有功能都支持分组（混淆矩阵除外）。二、预测度量函数平均绝对误差：mean_abs_error(table_in, table_out,pred...

2018-03-16 11:36:37

阅读数：197

评论数：0

原 MADlib——基于SQL的数据挖掘解决方案（29）——模型评估之交叉验证

验证是评估数据挖掘模型对实际数据执行情况的过程。在将挖掘模型部署到生产环境之前，必须通过了解其质量和特征来对其进行验证，评估模型的准确性、可靠性和可用性。可以使用多种方法评估数据挖掘模型的质量和特征：使用统计信息有效性的各种度量值来确定数据或模型中是否存在问题。将数据划分为定型集和...

2018-03-16 11:15:24

阅读数：307

评论数：0

提示

确定要删除当前文章？

取消删除