wzy0623的专栏

目录1. 背景描述2. 实现脚本3. 自动执行1. 背景描述 使用redis存储群发消息。当初匆忙上线，设计上有两个主要问题：一是在每个userid的key中存储消息体，从数据库的角度看，存在大量的数据冗余，占用大量存储空间。二是不设置key的过期时间，使得redis像貔貅一样只进不出，不断膨胀。 由于对用户的群发消息量很大，使得redis几天就内存报警。开始时使用单实例redis，遇到报警就增加maxmemory配置。后来将单实例进行拆分，按照useri...

Greenplum中没有null是不可比较的，因此也没有类似Hive中的<=>，所谓完全相等比较符。但是，Greenplum中可以创建自己的操作符，实现也很简单：CREATE OR REPLACE FUNCTION fn_exactly_equal(left_o anyelement, right_o anyelement) RETURNS BOOLEAN AS$$ SELECT left_o = right_o or left_o is null and right_o is nu

原文链接：https://mp.weixin.qq.com/s/m4NPnZaKJMXKrTwtZoOQeQ程序产生小文件的原因程序运行的结果最终落地有很多的小文件，产生的原因： 读取的数据源就是大量的小文件 动态分区插入数据，会产生大量的小文件，从而导致map数量剧增 Reduce/Task数量较多，最终落地的文件数量和Reduce/Task的个 数是一样的 小文件带来的影响 文件的数量决定了Map...

Kettle转换中，各步骤之间行集（row set）的发送有分发和复制两种方式，本文讨论这两种方式的区别，以及它们与Kettle多线程的关系。我们用一个简单的例子辅助说明，Kettle版本为8.3。定义一个转换，以t1表作为输入，输出到表t2和t3。t1表中有1-10十个整数。当创建第二个跳（hop）时，会弹出一个警告窗口，如图1所示。图1 表输入步骤将向两个表输出步骤发送数据行，此时可以选择采用分发或复制两种方式之一，缺省为复制方式。分发方式执行后，t2、t3表的数...

一、问题提出        在一个数据仓库应用中，每天新建一个MySQL数据库，以当天日期命名，如d_p20161201、d_p20161202等，并使用Kettle连接这些数据库做数据清洗和ETL工作。由于数据库是用脚本每天动态生成的，Kettle如何连接动态分库呢？二、解决方案1. 建立数据库连接，在数据库名称中引入变量。此时是无法连接到数据库的。2. 建立转换，用JavaScript步骤设置

目录一、组复制性能1. 概述2. 测试规划3. 消息压缩4. 组通信线程循环5. 写入集6. 流控7. 其它配置8. 主从、半同步、组复制性能对比测试二、组复制要求与限制1. 组复制要求2. 组复制限制一、组复制性能1. 概述 组复制的基本保证是，只有在组中的大多数节点接收到事务并且就并发事务的相对顺序达成一致之后，才会提交...

《Hive编程指南》最后一章的Outbrain案例中，有一个把访问网络流量会话化的简单实现，但按照它的查询出来的结果是错的，于是自己重写了一个。一、问题提出（摘自书中原文）        为了分析网络流量，我们常常希望能够基于各种各样的标准来测量热度。一种方法就是将用户行为分解到会话中，一次会话代表单一的一次“使用”所包含的一系列操作。一个用户在一天内或者一个月中的某几天可以多次访问某

目录5. 批处理数据6. 重命名集合7. 删除数据8. 引用数据库9. 使用与索引相关的函数        大部分摘自《MongoDB大数据处理权威指南》（第3版）。 5. 批处理数据        MongoDB允许批量执行写入操作。通过这种方式，可首先定义数据集，再一次性写入它们。批量写入操作只能处理单一集合，可用于插入、更新或删除数据。        在批...

一、OushuDB高可用简介        OushuDB作为一个传统数据仓库在Hadoop上的替代品，其高可用性至关重要。通常硬件容错、OushuDB HA、HDFS HA是保持系统高可用时需要考虑并实施的三个层次。另外实时监控和定期维护，也是保证集群所有组件健康的必不可少的工作。        总的来说，OushuDB容错高可用的实现方式包括：硬件冗余master镜像双集群1. 硬件级别的冗余...

在实际应用中经常有这种需求，按照select的字段中的部分字段分组聚合，比如下面的例子：create table t1 (a varchar(20),b varchar(20),c int);insert into t1 values('a','123',1);insert into t1 values('b','456',2);insert into t1 values('a','78

2016年就这么过去了，回头望一望这一年所经历的的种种平凡琐事，总想说点什么。在国企工作的三年半时间里，每年这个时候都要写工作总结，并且要当着单位所有人的面说一遍。口才好或表现欲强的同事在这个场合通常会脱稿演说，或口若悬河，或语出惊人，虽然有哗众取宠之嫌疑，但足令我等文采口才双输之辈羡慕之至。此一时彼一时，环境变了，现在公司没人要求写总结了，反而到觉得年终总结是一件很有必要的事情。下面不是工作总结

参照表一个常见的用途就是做数据的查询和检验。提供一个输入字段，如果输入字段里的值没有匹配上，就给对应的数据行做一个错误标志。下面使用城市和邮政编码查询做个例子，演示如何使用计算器步骤和查询步骤来判断地址和邮政编码是否匹配。完整的转换如下图：  首先，需要一些输入数据，本例使用了“自定义常量数据”步骤，并添加一些测试数据作为输入，如下图：  第一个清洗步骤就是从邮政编码里提取数字，要使用计算器步骤。

1. Hadoop、Hive、MySQL安装（略）2. 下载sqoophttp://www.apache.org/dyn/closer.lua/sqoop/1.4.63. 解压tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz4. 建立软连接ln -s sqoop-1.4.6.bin__hadoop-2.0.

目录一、测试目标二、测试规划三、测试过程1. 缺省配置2. 多线程3. 流控四、测试结论参考： 本篇使用tpcc-mysql压测工具对实验环境的三节点Galera集群进行一系列性能测试。一、测试目标验证Galera的同步复制，检查是否存在复制延迟。 对比Galera与MySQL组复制的每秒事务数（TPS）。 验证多线程复制对Galera...

目录一、管理1. 在线DDL（1）TOI（2）RSU（3）pt-online-schema-change2. 恢复主组件（1）了解主组件状态（2）修改保存的主组件状态3. 重置仲裁（1）查找最高级的节点（2）重置仲裁（3）自动引导（4）手动引导4. 管理流控（1）监控流控（2）配置流控5. 自动逐出（1）配置自动逐出（2）...

目录一、表删除过程1. buffer pool清除2. 删除表相关的磁盘文件二、创建硬链接三、删除表四、删除文件释放空间参考： 在一个高负载的生产数据库上删除大表需要一些技巧，倘若直接drop table，将产生大量磁盘I/O，严重的会卡库，这是高可用服务所不能接受的。要优化删除表，需要了解其内部执行过程。一、表删除过程 表删除原...

目录一、巧用索引与变量1. 无索引对比测试（1）使用相关子查询（2）使用表连接（3）使用变量2. 建立created_time和item_name上的联合索引对比测试（1）使用相关子查询（2）使用表连接（3）使用变量（4）使用变量，并且消除嵌套查询二、利用窗口函数三、多线程并行执行1. 数据分片（1）查询出4份数据的created_time边...

一、环境两台Oracle VM VirtualBox虚拟机host：master1、master2IP：192.168.1.1、192.168.1.2OS：Linux 2.6.32 DB：Oracle 11.2.0.3，启用归档OGG：ogg112101_fbo_ggs_Linux_x64_ora11g_64bit 2.2.3二、安装OGG在master1、master2两台上执行以下步骤：1.

前面做了基于Hbase自带Zookeeper的安装配置（参考http://blog.csdn.net/wzy0623/article/details/51241641），今天做了个基于独立Zookeeper集群的。一、实验环境3台CentOS release 6.4虚拟机，IP地址为192.168.56.101 master192.168.56.102 slave1192.

（五）进阶技术        11. 间接数据源        本篇讨论如何处理间接数据源。间接数据源与维度表具有不同的粒度，因此不能直接装载进数据仓库。在这里通过修改（五）进阶技术7. “多路径和参差不齐的层次”里的推广源数据说明怎样处理间接数据源。CAMPAIGN SESSION,MONTH,YEAR2014 First Campaign,1,20142014 First

目录一、事实表概述二、周期快照1. 修改数据仓库模式2. 创建快照表数据装载Kettle转换三、累计快照1. 修改数据库模式2. 修改增量抽取销售订单表的Kettle转换3. 修改定期装载销售订单事实表的Kettle转换4. 修改定期装载Kettle作业6. 测试四、无事实的事实表1. 建立新产品发布的无事实事实表2. 初始装载无事实事实表3. 修改定期装载Kettle作业4. 测试定期装载作业五、迟到的事实1. 修改数据仓库模式2.

目录一、增加列1. 修改数据库模式2. 修改Sqoop作业项3. 修改定期装载维度表的转换4. 修改定期装载事实表的转换5. 测试二、维度子集1. 建立包含属性子集的子维度2. 建立包含行子集的子维度3. 使用视图实现维度子集三、角色扮演维度1.修改数据库模式2. 修改Kettle定过期装载作业3. 测试4. 一种有问题的设计四、层次维度1. 固定深度的层次2. 多路径层次3. 参差不齐的层次 前面文章中，我们用K...

目录一、使用crontab1. crontab权限2. crontab命令3. crontab文件4. crontab示例5. crontab环境6. 重定向输出二、使用Oozie1. Oozie体系结构2. CDH 6.3.1中的Oozie3. 建立定期装载工作流（1）修改资源配置（2）启动Sqoop的share metastore service（3）连接metastore创建sqoop job（4）定义工作流（5）部署工作流（6）建立

目录一、数据清洗1. 处理“脏数据”2. 数据清洗原则3. 数据清洗实例（1）身份证号码格式检查（2）去除重复数据（3）建立标准数据对照表二、Hive简介1. Hive的体系结构2. Hive的工作流程3. Hive服务器（1）配置HS2（2）临时目录管理（3）HS2的Web用户界面（Hive2.0.0引入）（4）查看Hive版本4. Hive优化三、初始装载1. 系统初始化2. 装载过渡区3. 装载维度表4. 装载事...

目录一、Kettle数据抽取概览1. 文件抽取（1）处理文本文件（2）处理XML文件2. 数据库抽取二、变化数据捕获1. 基于源数据的CDC2. 基于触发器的CDC3. 基于快照的CDC4. 基于日志的CDC三、使用Sqoop抽取数据1. Sqoop简介2. 使用Sqoop抽取数据3. Sqoop优化（1）调整Sqoop命令行参数（2）调整数据库四、小结 本篇介绍如何利用Kettle提供的转换步骤和作业项实现Hadoop数...

目录一、业务场景1. 操作型数据源2. 销售订单数据仓库模型设计二、HIVE相关配置1. 选择文件格式2. 选择表类型3. 支持行级更新4. Hive事务支持的限制三、建立数据库表1. 源数据库表2. RDS库表3. TDS库表四、装载日期维度数据五、小节 从本篇开始，介绍使用Kettle实现Hadoop数据仓库的ETL过程。我们会引入一个典型的订单业务场景作为示例，说明多维模型及其相关ETL技术在Kettle上的具体实现。本篇首先介...

目录一、安装1. 安装环境（1）选择操作系统（2）安装规划2. 安装前准备（1）安装Java环境（2）安装GNOME Desktop图形界面（3）安装配置VNC远程控制（4）在客户端安装vncviewer3. 安装运行Kettle（1）下载和解压（2）运行Kettle程序（3）创建Spoon快捷启动方式二、配置1. 配置文件和.kettle目录（1）.spoonrc（2）jdbc.properties（3）kettle.properti

一、问题提出 之前写过一篇名为“快速安全删除MySQL大表”的博客，讲解如何在不影响线上数据库服务的前提下删除大表。实际上清理MySQL binlog也会遇到同样的问题。例如，我们每个binlog文件的大小是1G。最初的做法是，每天凌晨2:30执行下面的操作清理10天前binlog：mysql -uroot -p123456 -s /data/3306/mysqldata/mysql.sock -e "purge master logs before date_sub( now( )...

目录一、ETL基础1. 数据仓库架构中的ETL2. 数据抽取（1）逻辑抽取（2）物理抽取（3）变化数据捕获3. 数据转换4. 数据装载5. 开发ETL系统的方法二、ETL工具1. ETL工具的产生2. ETL工具的功能（1）连接（2）平台独立（3）数据规模（4）设计灵活性（5）复用性（6）扩展性（7）数据转换（8）测试和调试（9）血统和影响分析（10）日志和审计三、Kettle简介1. Kettle设计原则2

all in one：全面介绍复制、中间件、集群、存储四类各种MySQL高可用技术。 step by step：各种方案安装配置部署的详细步骤。 troubleshooting and test：问题复现、解决与性能对比测试。

矩阵可以用来表示数据集，描述数据集上的变换，是MADlib中数据的基本格式，通常使用二维数组数据类型存储。MADlib中的向量是一维数组，可看作是矩阵的一种特殊形式。MADlib的矩阵运算模块（matrix_ops）实现SQL中的矩阵操作。本篇介绍矩阵的概念，说明MADlib矩阵运算相关函数，并举出一些简单的函数调用示例。 一、矩阵定义        矩阵（matrix）是把数集合汇聚成行和列的一

一、分类方法简介1. 分类的概念        数据挖掘中分类的目的是学会一个分类函数或分类模型（也常常被称作分类器），该模型能把数据库中的数据项映射到给定类别中的某一个。分类可描述如下：输入数据，或称训练集（Training Set），是由一条条数据库记录（Record）组成的。每一条记录包含若干个属性（Attribute），组成一个特征向量。训练集的每条记录还有一个特定的类标签（Class L

1. 在SQL Server所在的服务器安装Oracle客户端软件2. 配置tnsnames.ora文件，示例如下：MYDB = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = localhost)(PORT = 1521)) ) (CONNECT_DATA =

很容易用crontab命令创建一个任务，定期运shell脚本，如：# 修改文件属性为可执行chmod 755 /root/regular_etl.sh# 编辑crontab文件内容crontab -e# 添加如下一行，指定每天2点执行定期装载作业，然后保存退出0 2 * * * /root/regular_etl.sh  这就可以了，需要用户做的就是如此简单，其它的事情交给cron系统服

目录一、DRBD简介1. 工作原理2. DRBD 支持的底层设备3. DRBD资源4. DRBD 配置工具5. DRBD与RAID1区别6. DRBD与共享存储二、DRBD安装配置1. 实验环境2. 配置前准备3. 下载安装DRBD4. 配置DRBD四、测试MySQL数据同步五、heartbeat+DRBD+mysql高可用方案1....

目录一、数据分发方式与多线程1. 数据行分发2. 记录行合并3. 记录行再分发4. 数据流水线5. 多线程的问题6. 作业中的并行执行二、Carte子服务器1. 创建Carte子服务器2. 定义子服务器3. 远程执行4. 监视子服务器5. Carte安全6. 服务三、集群转换1. 定义一个静态集群2. 设计集群转换3. 执行和监控4. 元数据转换5. 配置动态集群四、数据库分区1. 在数据库连接中使用集群2. 创建数

目录4. 递归五、退化维度1. 退化订单维度2. 修改定期装载脚本3. 测试修改后的定期装载六、杂项维度1. 新增销售订单属性杂项维度2. 修改定期装载Kettle作业3. 测试修改后的定期装载七、维度合并1. 修改数据仓库模式2. 修改定期装载Kettle作业3. 测试修改后的定期装载八、分段维度1. 年度销售订单星型模式2. 初始装载3. 定期装载九、小结4. 递归 数据仓库中的关联实体经常表现为一种“父—子”...

目录一、Hadoop相关的步骤与作业项二、连接Hadoop1. 连接Hadoop集群（1）开始前准备（2）配置步骤2. 连接Hive3. 连接Impala4. 建立MySQL数据库连接三、导入导出Hadoop集群数据1. 向HDFS导入数据2. 向Hive导入数据3. 从HDFS抽取数据到MySQL4. 从Hive抽取数据到MySQL四、执行HiveQL语句五、执行MapReduce1. 生成聚合数据集（1）准备文件与目录（2）建立一个

引言为什么写这篇文章？首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作。但是在更新缓存方面，对于更新完数据库，是更新缓存呢，还是删除缓存。又或者是先删除缓存，再更新数据库，其实大家存在很大的争议。目前没有一篇全面的博客，对这几种方案进行解析。于是博主战战兢兢，顶着被大家喷的风险，写了这篇文章。文章结构本文由以下三个部分组成1、讲解缓存更新策略2、对每种策略进行缺点分析3、针对缺点给出改进方案正文先做一

目录一、DBeaver简介二、下载与安装三、连接hive四、连接impala五、连接phoenix六、连接HAWQ七、连接redis 伴随着技术的不断发展与进步，我们会接触和使用越来越多的数据源。从经久不衰的MySQL、Oracle、SQLserver、DB2等关系数据库，到方兴未艾的MongoDB、Redis、Cassandra等NoSQL产品，再到屡见不鲜的各种大数据组件，如Hive、Impala、HBase、Phoenix、Spark，以及林林总总的时序数...

实验目的：配置Kettle向Spark集群提交作业。实验环境：Spark History Server：172.16.1.126Spark Gateway：172.16.1.124172.16.1.125172.16.1.126172.16.1.127PDI：172.16.1.105Hadoop版本：CDH 6.3.1Spark版本：2.4.0-cdh6.3.1PDI版本：8.3Kettle连接CDH参见“https://wxy0327.blog.csdn.net/a

1. 打开PDI，新建一个作业，如图1所示。图12. 编辑'Oozie job executor'作业项，如图2所示。图2 说明：CDH631是已经建好的Hadoop集群连接，参见“https://wxy0327.blog.csdn.net/article/details/106406702#%E4%BA%8C%E3%80%81%E8%BF%9E%E6%8E%A5Hadoop%E9%9B%86%E7%BE%A4”。 'Enable Blocking'选项将阻止转换的其...

目录一、Sqoop export二、Sqoop import一、Sqoop export1. 建立一个作业，将HDFS文件导出到MySQL数据库。（1）打开PDI，新建一个作业，如图1所示。图1（2）编辑'Sqoop export'作业项，如图2所示。图2 说明：CDH631是已经建好的Hadoop集群连接，参见“https://wxy0327.blog.csdn.net/article/details/106406702#%E4%BA%8C%E...

1. 建立hive表，导入原始数据，过程参考https://blog.csdn.net/wzy0623/article/details/106471124#2.%20%E5%90%91Hive%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE。2. 建立一个作业，查询hive表，并将聚合数据写入一个hive表。（1）打开PDI，新建一个作业，如图1所示。图1（2）编辑'SQL'作业项，如图2所示。图2 说明：hive_cdh631是已经建好...

目录一、示例1——格式化原始web日志1. 准备文件与目录2. 建立一个用于Mapper的转换3. 建立一个调用MapReduce步骤的作业，使用mapper转换，仅运行map作业。4. 执行作业并验证输出二、示例2——生成聚合数据集1. 准备文件与目录2. 建立一个用于Mapper的转换3. 建立一个用于Reducer的转换4. 建立一个调用MapReduce步骤的作业，调用mapper和reducer转换。5. 执行作业并验证输出参考：一、示例1——格

目录一、向Hadoop集群导入数据（Hadoop copy files）1. 向HDFS导入数据2. 向Hive导入数据二、从Hadoop集群抽取数据1. 把数据从HDFS抽取到RDBMS2. 把数据从Hive抽取到RDBMS参考：一、向Hadoop集群导入数据（Hadoop copy files）1. 向HDFS导入数据从下面的地址下载web日志示例文件，解压缩后的weblogs_rebuild.txt文件放到/root/big_data目录下。http://wi

目录一、环境说明二、连接Hadoop集群三、连接Hive四、连接Impala五、后续（建立MySQL数据库连接） Kettle可以与Hadoop协同工作。让我们从简单的开始，本文介绍如何配置Kettle访问Hadoop集群（HDFS、MapReduce、Zookeeper、Oozie等），以及Hive、Impala等数据库组件。所有操作都以操作系统的root用户执行。一、环境说明1. Hadoop 已经安装好4个节点的CDH 6.3.1，IP地...

目录一、安装Java二、安装Kettle三、运行Kettle程序1. 安装Linux图形环境2. 安装配置VNC Server3. 在客户端使用vncviewer连接系统4. 执行spoon.sh四、给Spoon创建一个桌面快捷启动方式五、配置1. 配置文件和.kettle目录（1）.spoonrc（2）jdbc.properties（3）kettle.properties（4）kettle.pwd（5）repositories.xml（6）s

目录一、Kettle设计原则二、转换1. 步骤2. 转换的跳3. 并行4. 数据行5. 数据转换（1）Date和String的转换（2）Numeric和String的转换（3）其它转换三、作业1. 作业项2. 作业跳3. 多路径和回溯4. 并行执行5. 作业项结果四、转换或作业的元数据五、数据库连接1. 一般选项2. 特殊选项3. 关系数据库的力量4. 连接和事务5. 数据库集群六、工具七、资源库八、虚拟

目录1. Spoon2. Kitchen和Pan（1）命令行参数（2）例子3. Carte Kettle里有不同的工具，用于ETL的不同阶段。主要工具如下：Spoon：图形化工具，用于快速设计和维护复杂的ETL工作流。 Kitchen：运行作业的命令行工具。 Pan：运行转换的命令行工具。 Carte：轻量级的（大概1MB）Web服务器，用来远程执行转换或作业，一个运行有Carte进程的机器可以作为从服务器，从服务器是Kettle集群的一部分。1. Spoo...

目录1. 在数据库连接中使用集群2. 创建数据库分区schemas3. 启用数据库分区4. 例子（1）将三个mysql实例的数据导入到另一个mysql实例（2）将一个mysql实例的数据分发到三个mysql实例（3）将三个mysql实例的数据导入到另三个mysql实例（4）将三个mysql实例的数据导入相同实例的不同表中 本文介绍Kettle 8.3中数据库分区的使用。1. 在数据库连接中使用集群 在Kettle的数据库连接对话框中，可...

日期转时间戳：select to_char(to_number(to_date('2020-03-01','yyyy-MM-dd','GMT+8'))/1000,'##########');时间戳转日期：to_char(CONVERT_TZ(to_date('1582992000','s'), 'UTC', 'Asia/Shanghai'),'yyyy-MM-dd HH:mm:ss...

问题提出：表user_experience_wealth_log改名为user_experience_wealth_log_new，该表涉及若干存储过程。为了避免遗漏，需要确认所有相关过程都做了修改，验证方法为不存在包含user_experience_wealth_log的存储过程。问题分析：不能使用简单的 not like '%user_experience_wealth_log%'...

问题很简单，求一个整数的二进制中1的个数。方案一：select @i:= 50 i,@i_bin:=bin(@i) i_bin, length(@i_bin)-length(replace(@i_bin,'1','')) len_1;方案二：select @tmp:=50 - ((50 >> 1) & 3681400539) - ((50>>2...

目录一、processlist中的未提交事务二、information_schema.innodb_trx中的未提交事务三、performance_schema.events_statements_current中的未提交事务参考： 我们经常会碰到这样的情况，某个事务执行完了未提交，后续再来一个DDL和DML操作，导致后面的session要么处于waiting f...

目录一、redis环境二、redis手工分片步骤1. 配置级联复制2. 去掉老哨兵监控3. 停止新实例从老实例的复制4. 添加新哨兵监控5. 重启新哨兵6. 添加老哨兵监控7. 重启老哨兵 随着数据量越来越大，一个redis实例可能需要分成多个以形成数据分片。此时通常可以采取两种方式操作：一是启用cluster模式自动完成数据分片；二是手工分片...

目录一、安装环境二、选择HAWQ主机三、安装前准备1. 建立gpadmin用户和HAWQ主目录2. 创建HAWQ的本地数据目录3. 安装依赖包三、安装HAWQ1. 下载安装包2. 解压并安装四、配置HAWQ1. 创建HAWQ的HDFS数据目录2. 修改配置文件3. 添加slaves4. 将配置文件复制到其它主机五、配置OS内核参数与限制...

首先申明我的观点，redis本身只是缓存，不适合作为数据库使用，有说微博就是拿redis当DB用的，自己去证实吧。如果非要拿redis当数据库，就不得不考虑数据丢失问题，这里讨论两种常见的可能造成数据丢失的情况。 第一种情况是redis实例或所在主机宕机，这可以通过复制来解决，再配以redis哨兵机制，实现自动failover。应用通过哨兵访问redis，当mas...

Zeppelin是一个基于Web的笔记本，可以直接在浏览器中编写代码，对数据进行查询分析并生成报表或图表，做出数据驱动的、交互、协作的文档，并且可以共享笔记。Zeppelin提供了内置的Apache Spark集成，提供的功能有：自动引入SparkContext 和 SQLContext 从本地文件系统或maven库载入运行时依赖的jar包。 可取消Spark作业和展示...

目录一、下载并安装Phoenix parcel二、安装CSD文件三、在Cloudera Manager中添加Phoenix服务（前提是已经安装了HBase服务）四、配置HBase以用于Phoenix五、验证Phoenix安装参考：一、下载并安装Phoenix parcel1. 登录Cloudera Manager，点“群集”->“Parcel”，进入Parce...

目标机（172.16.1.125）：nc -l 12345 | tar zxvf -源机（172.16.1.124）：tar cfz - * | nc 172.16.1.125 12345

DBAplus社群今天以下文章来源于侠梦的开发笔记，作者侠梦前言随着系统的运行，数据量变得越来越大，单纯的将数据存储在MySQL中，已然不能满足查询要求了，此时我们引入Redis作为查询的缓存层，将业务中的热数据保存到Redis，扩展传统关系型数据库的服务能力，用户通过应用直接从Redis中快速获取常用数据，或者在交互式应用中使用Redis保存活跃用户的会话，都可以极大地降低后端关...

Galera负载均衡器（Galera Load Balancer，GLB）为客户端请求提供了一个简单的TCP连接平衡功能，其与Galera Cluster的关系类似于MySQL Router之于组复制。它从另一个轻量级负载均衡器Pen中汲取灵感，开发考虑了可伸缩性和性能，但仅限于平衡TCP连接。GLB提供了以下几个功能：支持在运行时配置后端服务器。 支持服务器排除（drain...

MySQL的show processlist命令可以显示当时的会话情况，但很多时候都需要查看出问题当时的状态，可惜MySQL没有提供类似history session这样的功能。于是为了方便问题排查，自己写了一个非常简单的抓取MySQL现场session的脚本，生产数据库已经用了很长时间，感觉对trouble shooting还是挺有用的。脚本文件get_processlist.s...

需求：取出所有前缀为g.at.ga.的string类型的key及其value实现：1. 取出keyredis-cli -p 26379 -a 123456 -n 0 keys g.at.ga.* > a.txt2. 拼出取value的命令sed 's/^/get &/g' a.txt > b.txt3. 取valuecat b.txt | redis-cli -p...

redis 和 memcached 有什么区别？redis 的线程模型是什么？为什么 redis 单线程却能支撑高并发？这个是问 redis 的时候，最基本的问题吧，redis 最基本的一个内部原理和特点，就是 redis 实际上是个单线程工作模型，你要是这个都不知道，那后面玩儿 redis 的时候，出了问题岂不是什么都不知道？还有可能面试官会问问你 redis 和 memcache...

CDH集群的安装部署虽然步骤比较多，但只要严格按照文档操作，一般不会有太大问题。然而，如果安装过程中出错，或因为其它原因需要重新安装CDH，在不重装操作系统的前提下，是比较困难的。难点在于需要删除的东西太多，不删干净了非常容易造成安装失败。网上找的所谓“CDH完全卸载”其实都不够完全。经过一天的反复尝试，终于写了一个一键式删除CDH脚本，在我自己的测试环境下是可行的。删除脚本文件r...

目录一、Galera集群实验环境二、初始安装1. 安装galera-3、mysql-wsrep-5.7、Percona-XtraBackup-2.4.152. 修改配置文件3. 初始化集群4. 启动集群其它节点的mysqld服务5. 验证安装6. 问题排查三、使用SST增加节点四、使用IST增加节点1. 设置gcache.size2. IST测试...

目录一、同步复制二、Galera复制架构1. wsrep api2. 全局事务ID（global transaction id，GTID）3. Galera复制插件4. 组通信插件三、Galera复制工作原理四、状态转移1. 状态快照传输2. 增量状态转移3. 写集缓存（gcache）五、流控1. 流控原理2. 理解节点状态3. 节点状态...

目录一、InnoDB Cluster简介1. 整体架构2. MySQL Shell3. MySQL Router4. MySQL服务器集群二、创建InnoDB Cluster1. 检查实例配置2. 配置实例3. 创建集群4. 向集群添加实例5. 查看集群状态6. 基于已有组复制的集群创建7. 配置MySQL Router8. 客户端连接测试...

目录一、功能介绍1. 透明路由2. 元数据缓存3. 简单重定向4. MySQL Router 8.0的新特性二、安装与启动1. 安装2. 启动三、配置1. 配置文件位置2. 配置文件语法3. 配置文件示例 MySQL Router最早是作为MySQL-Proxy的替代方案出现的。作为一个轻量级中间件，MySQL Router可在应用...

目录一、问题提出1. 描述2. 分析二、优化重叠查询1. 自关联2. 游标+内存临时表三、改进取得活跃时段的算法1. 最小范围算法（表连接）2. 正负计数器算法（一次扫描）四、MySQL 8的单条查询解决方案一、问题提出1. 描述 这是一个实际业务需求中的问题。某一直播业务表中记录了如下格式的用户进出直播间日志数据：+----...

数字辅助表只有一个整数列，包含从1到N个整数序列值，N通常很大。对MySQL来讲，数字辅助表是一个强大的工具，编写SQL语句时经常用数据表与数字辅助表做笛卡尔积来创建额外的行。建议创建一个持久的数据辅助表，并根据需要填充一定数据量的值。 实际上如何填充数字辅助表无关紧要，因为只需要运行这个过程一次，不过还是可以对此过程进行优化。假设需要为如下数字辅助表生成数据：...

目录一、配置组复制模式1. 单主模式2. 多主模式3. 联机配置组复制模式4. 配置并发写实例数5. 设置组的通信协议版本二、保证数据一致性1. 组复制数据一致性简介2. 防止主库故障转移造成的过时读取3. 选择适当的一致性级别4. 一致性级别范围5. 一致性级别的影响三、其它配置1. 调整恢复2. 网络分区一、配置组复制模式 ...

目录一、部署单主模式组复制1. 安装MGR插件2. 准备配置文件3. 重启主库实例4. 启动组复制5. 向组中添加实例二、组复制监控三、容错示例1. 一个SECONDARY实例正常shutdown2. 一个SECONDARY实例异常shutdown3. PRIMARY实例正常shutdown4. PRIMARY实例异常shutdown ...

目录一、MySQL复制技术1. 主从复制 2. 组复制二、组复制使用场景三、组复制相关服务1. 故障检测2. 组成员服务3. 容错四、组复制技术细节1. 组复制插件体系结构2. 复制组3. 数据操作语言（Data Manipulation Language，DML）4. 数据定义语句（Data Definition Language，...

目录一、复制拓扑1. 一主一（多）从2. 双（多）主复制4. 多源复制5. Blackhole引擎与日志服务器二、复制性能1. 测试规划2. sync_binlog与innodb_flush_log_at_trx_commit3. 组提交与多线程复制4. 基于WriteSet的多线程复制 可以在任意个主从库之间建立复杂的复制拓扑结构，如普通...

目录一、配置GTID复制1. 联机配置GTID复制2. 联机更改复制模式3. GTID相关系统变量二、GTID运维1. 跳过一个事务2. mysqldump导出3. 主从切换三、GTID限制四、GTID集合运算函数1. GTID内置函数2. 用户自定义函数3. 使用示例 上篇解释了许多GTID的原理，以及在MySQL复制中所起的作...

目录一、GTID简介1. 什么是GTID2. GTID的格式与存储二、GTID生命周期1. 典型事务的GTID生命周期2. GTID分配3. gtid_next系统变量4. gtid_purged系统变量三、GTID自动定位 MySQL复制中使用的事务类型有以下两种：GTID事务：在二进制日志中每个GTID事务始终都以Gtid_log_ev...

转自：http://longlongblog.cn/2017/11/01/58/问题背景Flush是一个极少用到的操作，不过既然碰到过诡异的现象，也记录在此。问题场景是在Reids Cluster中使用主从模式，向主节点发送flush命令，预期主从节点都会清空数据库。但是诡异的现象出现了，我们得到的结果是主从节点发生了切换，并且数据并没有被清空。问题分析分析以上case，Red...

目录一、延迟复制1. 延迟复制简介2. 延迟复制时间戳3. 监控延迟复制二、部分复制1. 简介2. 评估数据库级复制和二进制日志选项3. 评估表级复制选项4. 复制规则应用5. 部分复制示例三、主从切换1. 计划内切换2. 计划外切换一、延迟复制1. 延迟复制简介 即使通常MySQL复制很快，但MySQL缺省的复制存在延...

目录一、简介二、性能提升1. 支持发送二进制日志事件和接收ACK的异步化2. 控制主库接收确认反馈从库的数量3. 二进制日志互斥锁改进三、数据一致性1. 源码剖析2. rpl_semi_sync_master_wait_point的配置3. sync_binlog的配置4. sync_relay_log的配置四、管理接口五、在MySQL 8上安...

目录一、MySQL异步复制介绍1. 复制的用途2. 复制如何工作3. 两阶段提交二、复制实验环境三、安装mysql-8.0.16四、配置异步复制1. 空库2. 脱机3. 联机一、MySQL异步复制介绍 简单说，复制就是将来自一个MySQL数据库服务器（主库）的数据复制到一个或多个MySQL数据库服务器（从库）。传统的MySQL复制提供了...

1. 检查当前Cluster的主从关系/home/redis/redis-5.0.3/src/redis-cli -a 123456 --cluster check 140.210.73.39:20001 结果如下：140.210.73.39:20001 (a1addf19...) -> 929146 keys | 5461 slots | 1 slaves....

在使用redis 3时，可以使用redis-migrate-tool工具做redis在线数据迁移（参考https://wxy0327.blog.csdn.net/article/details/84138537）。但是我们现在使用的redis server已经升级到5.0.3版本，再用redis-migrate-tool做迁移会报错：[2019-04-19 13:26:35....

一、问题提出 有一个生产系统的Redis实例内存使用超限引发报警，需要查看各个key所使用的内存分布情况，以便采取进一步的措施。二、安装RDR Redis原生并没提供查看单个Key的内存占用情况的命令。经过简单快速地调研，决定试一下RDR（Redis Data Reveal），主要原因是想体验一下其图形化的表示。RDR是用go语言开...

日期维度在数据仓库中是一个特殊角色。日期维度包含时间概念，而时间是最重要的，因为数据仓库的主要功能之一就是存储和追溯历史数据，所以每个数据仓库里的数据都有一个时间特征。装载日期数据有三个常用方法：预装载、每日装载一天、从源数据装载日期。在三种方法中，预装载最为常见也最容易实现。在数据仓库生命周期中，只需要预装载日期维度一次。 假设建立有如下日期维度表：cre...

目录一、模板二、动态映射三、分配感知四、监控1. 检查集群健康状况2. 慢日志、热线程和线程池3. 内存4. 操作系统缓存5. 存储限流五、备份与恢复1. 快照API2. 将数据备份到共享的文件系统3. 从备份中恢复《Elasticsearch In Action》学习笔记。一、模板（1）创建模板        当待创建的索引与之前...

目录一、合并请求1. 批量操作（bulk）2. 多条搜索和多条获取二、优化Lucene分段的处理1. refresh和flush2. 合并以及合并策略三、缓存1. 过滤器和过滤器缓存2. 分片查询缓存3. JVM堆和操作系统缓存四、其它的性能权衡1. 非精确匹配2. 脚本3. 网络4. 分页《Elasticsearch In Acti...

目录一、添加节点二、节点发现1. 广播2. 单播3. 选举主节点4. 错误识别三、删除节点1. 丢失节点2. 停用节点四、升级节点五、使用_cat API六、扩展策略1. 过度分片2. 将数据切分为索引和分片3. 最大化吞吐量七、别名1. 添加和删除别名2. 查看别名3. 使用别名过滤器来屏蔽文档八、路由《Elas...

目录一、文档间关系概览1. 对象类型2. 嵌套类型3. 父子关系4. 反规范化二、将对象最为字段值1. 映射和索引对象2. 搜索对象三、嵌套类型1. 映射并索引嵌套文档2. 搜索和聚合嵌套文档四、父子关系1. 子文档的索引、更新和删除2. 在父文档和子文档中搜索五、反规范化1. 反规范化使用案例2. 索引、更新和删除反规范化的数据...

目录一、聚合的结构二、度量集合三、桶型聚合四、嵌套聚合1. 多桶聚合2. 单桶聚合《Elasticsearch In Action》学习笔记。        熟悉SQL的用户一定对聚合不会陌生，简单说任何应用于group by的查询都会执行一个聚合操作。ES的聚合（aggregation）加载和搜索相匹配的文档，并且完成各种统计型的计算。        ES聚合...

目录一、ES打分机制1. TF-IDF2. 其它打分方法二、boosting三、explain四、再打分五、function_score六、使用脚本排序《Elasticsearch In Action》学习笔记。        使得ES查询与select * from users where name like 'bob%'查询不同的是其为文档赋予相关性得分...

目录一、什么是分析二、分析文档三、分析API四、分析器、分词器、分词过滤器1. 内置分析器2. 分词器3. 分词过滤器五、N元语法、侧边N元语法、滑动窗口七、IK中文分词插件《Elasticsearch In Action》学习笔记。一、什么是分析        分析（analysis）是在文档被发送并加入倒排索引之前，ES在其主体上进行的操作。在文...

目录一、搜索请求的结构1. 确定搜索范围2. 搜索请求的基本模块3. 基于请求主体的搜索请求4. 回复的结构二、查询和过滤器1. match2. term3. query_string三、复合查询1. bool查询2. bool过滤器四、其它查询和过滤器1. range查询和过滤器2. prefix查询和过滤器3. wildcard查...

以分布式数据库为基础，涵盖主流Hadoop上数据仓库、ETL、数据分析、机器学习相关的相对完整的知识体系和技术实现方案。 

一、索引数据1. 使用映射定义文档        映射里包含了一个索引的文档中所有字段的定义，并告诉ES如何索引一篇文档的多个字段。例如，如果一个字段包含日期，可以定义哪种日期格式是可以接受的。映射的概念类似于DB中的表字段定义。        ES会自动识别字段，并根据数据相应地调整映射。但是在生产应用中，通常需要预先定义自己的映射，而不依赖于自动的字段识别。向类型的_mapping...

目录一、逻辑设计1. 文档2. 类型3. 索引二、物理设计1. 节点2. 主分片与副本分片3. 分布式索引和搜索三、索引数据四、搜索数据1. 在哪里搜索2. 回复的内容3. 如何搜索4. 通过ID获取文档        ES被设计为处理海量数据的高性能搜索场景。海量数据具体说至少应该是数亿文档，而高性能具体说就是从数亿文档中任意搜索需要的...

第一类丢失更新(回滚丢失，Lost update)A事务撤销时，把已经提交的B事务的更新数据覆盖了。这种错误可能造成很严重的问题，通过下面的账户取款转账就可以看出来：A事务在撤销时，“不小心”将B事务已经转入账户的金额给抹去了。SQL92没有定义这种现象，标准定义的所有隔离级别都不允许第一类丢失更新发生。第二类丢失更新(覆盖丢失/两次更新问题，Se...