![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DataBase
文章平均质量分 88
蒋含竹
非淡泊无以明志,非宁静无以致远。
展开
-
CDC变化数据捕获——Debezium-Embedded
文章目录CDC变化数据捕获——Debezium-Embedded0. 前言1. 配置MySQL主从同步2. Debezium-Embedded 代码开发2.1 Maven导包2.2 代码-简单示例2.3 代码-使用Connect.class创建引擎2.4 代码-批量处理CDC事件2.5 启动代码运行即可CDC变化数据捕获——Debezium-Embedded0. 前言CDC(Change Data Capture)是变化数据捕获的意思,可以捕获数据库数据的增加、更新、删除等记录,RedHat的 De原创 2021-05-07 21:39:39 · 4631 阅读 · 22 评论 -
分布式缓存一致性(Redis、MySQL)
文章目录分布式——缓存一致性(Redis、MySQL)1. 前言2. 常见方案的问题点2.1 先更新数据库,再更新缓存2.2 先删除缓存,再更新数据库2.3 先更新数据库,再删除缓存3. 维护一致性3.1 设置缓存过期时间3.2 利用消息队列来异步处理3.2 利用Canal监控MySQL,来做异步处理4. 维护一致性——拓展思考4.1 思考4.2 分布式架构4.3 分布式架构(优化)分布式——缓存一致性(Redis、MySQL)1. 前言分布式一致性的问题,既是指“如何保证分布式多个节点的数据一样、原创 2020-07-20 01:14:05 · 2126 阅读 · 1 评论 -
HBase之Rowkey设计
HBase之Rowkey设计Rowkey基础Rowkey按自然顺序存储的,且具有唯一性,示例如下a_022a_101b_123f_031f_051f_131z_121当数据是有序的时候,通常利用二分查找的方式进行点查询、范围查询是最有效的(hash只能进行点查)。HBase的Rowkey查询正是遵循这种规律。Rowkey的查询可以分为两大类Get 点查询,给定一个ro...原创 2020-02-13 16:34:06 · 1756 阅读 · 1 评论 -
MySQL中的索引 B+Tree
文章目录MySQL的索引1. 常见索引的数据结构2. MySQL在索引方面的优化3. MySQL中的索引MySQL的索引1. 常见索引的数据结构示意图均从www.cs.usfca.edu生成哈希(Hash)示意图效率高,但是因为Hash算法的特性,数据无序,不能进行范围搜索二分搜索树(Binary Search Tree)示意图数据有序,能够按范围查找,但是容易造成...原创 2019-12-30 16:08:12 · 1687 阅读 · 0 评论 -
Redis持久化与过期机制
文章目录Redis持久化与过期机制1. 持久化机制1.1 RDB(默认)1.2 AOF2. 过期机制2.1 根据过期策略删除数据2.2 当内存过大装不下新数据时,将启用淘汰机制Redis持久化与过期机制1. 持久化机制1.1 RDB(默认)机制指定时间内、指定次数写操作 -> 会将内存中的数据写入磁盘(dump.rdb文件)重启Redis将会加载磁盘中已持久化的数据优点...原创 2019-12-26 19:37:55 · 1512 阅读 · 0 评论 -
MPP架构数据库优化总结——华为LibrA(MPPDB、GuassDB)
大数据在关系型数据处理这块,为了能够快速的查询、写入海量的数据,通常会采用MPP (Massively Parallel Processing)架构的分布式数据库。华为LibrA(MPPDB、GuassDB)与GreenPlum正是这样一款产品。通常实际生产环境中,每张表会存入海量的数据(例如我这里会有4TB、8TB、14TB等大小的表),为了解决这些存有海量数据的表的性能问题,需要给出很多优化方案,在这里我总结出工作中常用的一些优化手段。原创 2019-09-21 16:43:34 · 22916 阅读 · 4 评论 -
FusionInsight平台——HBase客户端工具封装EveHBase
文章目录FusionInsight平台——EveHBase客户端工具封装简介项目地址ExamplesLICENSEFusionInsight平台——EveHBase客户端工具封装简介针对华为HBase封装的客户端EveHBase支持普通客户端、安全模式客户端,功能包括:建表、预分区、建索引、异步请求、Put、Get、Scan、结果自动解析为JavaBean等项目地址GitHub...原创 2019-05-09 19:54:01 · 7592 阅读 · 2 评论 -
FusionInsight平台——LibrA(MPP)批量数据导入
适用: 大批量导入;HDFS上数据量过大,无法导出到本地使用GDS导入。将HDFS上的大量数据快速导入到LibrA(MPP)原创 2018-12-08 22:19:59 · 10154 阅读 · 4 评论 -
FusionInsight平台——Spark连接MPPDB(LibrA、GuassDB)
目前国内大数据行业盛行,华为推出了自己的大数据发行版,属于国内领先的发行版。FusionInsight产品其中就包括了Hadoop、Hive、Spark、HBase、MPPDB等组件。对于多数大数据从业人员来说,对大数据主流产品都有一定了解,但这款MPPDB相对来说较为陌生,笔者也在这上面遇到了坑,特此分享。MPPDB:简单来说,它一款分布式的关系型数据库,基于Postgres-XL框架,支持JDBC、ODBCMPPDB已更名为LibrA(GuassDB)原创 2018-01-07 19:06:21 · 14867 阅读 · 2 评论 -
MySQL学习笔记——20170812
练习建库建表CREATE DATABASE bookstoreDB;USE bookstoreDB;CREATE TABLE t_booktype( type_id int PRIMARY KEY NOT NULL, type_name VARCHAR(20) UNIQUE NOT NULL) ENGINE=InnoDB;CREATE TABLE t_book( book原创 2017-08-13 12:06:22 · 1636 阅读 · 1 评论 -
MySQL学习笔记——20170811
部分函数LTRIM() -> 去除左边空格 RTRIM() 去除右边空格ROUND() -> 四舍五入LENGTH() -> 获取字符串长度UPPER() -> 大写显示 LOWER 小写显示REPLACE(‘hello’,’h’,’w’) -> 替换INSERT(,,,)INSTR(‘hello’,’e’) -> 返回e在hello中的位置 2CONVERT(value,type)原创 2017-08-13 11:55:06 · 1638 阅读 · 0 评论 -
MySQL学习笔记——20170810
运算符/ % * + - && || > < = !=查询SELECT 字段名 FROM 表名 WHERE 条件GROUP BY 字段 (HAVING 条件)ORDER BY 字段 ASC/DESC示例:SELECT * FROM t_user ORDER BY age ASC;-- 升序SELECT * FROM t_user ORDER BY age DESC;-- 降序SEL原创 2017-08-11 09:01:13 · 1477 阅读 · 0 评论 -
MySQL学习笔记——20170809
数据完整性主键约束 PRIMARY KEY外键约束 PRIMARY KEY非空约束 NOT NULL默认约束 DEFAULT 唯一约束 UNIQUE修改数据表ALTER TABLE t_user ADD 字段 属性 约束DROP 字段 属性 约束MODIFY 字段 属性CHANGE 字段 属性示例:ALTER TABLE t_score ADD FOREIGN KEY (st原创 2017-08-10 08:27:51 · 1469 阅读 · 0 评论 -
MySQL学习笔记——20170808
数据库DataBaseOracleDB2SQLServerMySQL数据模型层次模型网状模型关系模型关系型数据库row + col -> tabletable -> databaseMySQLyum -y install mysqlyum -y install mysql-serveryum -y install mysql-develyum -y install m原创 2017-08-09 09:09:34 · 1776 阅读 · 0 评论