数据库
文章平均质量分 89
烟草的香味.
这个作者很懒,什么都没留下…
展开
-
分库后如何分页
前言在实际应用中, 为了降低单表的数据量, 会对较大的表进行水平切分, 将单表的数据切分到多表多库中.既然要切分, 就要有一个切分的依据, 比如说按照 ID 取模等. 那么多张表联合分页是如何做到的呢?如果分表的依据是字段 A, 但是需要根据字段 B 进行分页查询, 针对这种情况应该如何处理呢?为了后面方便说明, 这里举个例子.有一个文章表 user_article其中有一个文章的发表时间 publish_date. 这个时间用户是可以修改的.按照 ID 取模分到了两个表中.user_ar转载 2021-07-03 17:35:16 · 684 阅读 · 0 评论 -
spark计算操作整理
spark 的计算流程大概如图:其中, 通过多次处理, 生成多个中间数据, 最后对结果进行操作获得数据. 本文不涉及任何原理, 仅总结spark在处理的时候支持的所有操作, 方便后面使用的时候, 可以参照本文进行数据的处理.以下函数整理, 基与Python中RDD对象.数据的转换操作数据之间的转换操作, 用于生成中间数据.方法名说明过滤filter过滤掉函数计算后返回 false 的数据distinct对数据集中的元素进行去重.数据转换map原创 2021-03-21 18:56:02 · 828 阅读 · 0 评论 -
HBase 文件合并
HBase在存储时, 使用了LSM树来进行数据存储, 会定期将文件进行合并, 以提升数据的查询效率, LSM树都是这么处理的. 那么到这里就有一个问题了, HBase在进行文件合并的时候, 势必会占用大量 IO, 难道不会对正常的业务产生影响么? 抱着这个疑问, 我去找了找HBase文件合并的方式.在HBase中, 负责文件合并的模块叫做: ‘Compaction’. 分别看了看合并的类型、触发条件、执行过程、优缺点等, 算是简单了解了一下吧.合并类型根据文件合并的规模, 可以分为两种.Minor原创 2021-03-13 16:37:18 · 533 阅读 · 0 评论 -
HBase 数据存储结构
在HBase中, 从逻辑上来讲数据大概就长这样:单从图中的逻辑模型来看, HBase 和 MySQL 的区别就是:将不同的列归属与同一个列族下支持多版本数据这看着感觉也没有那么太大的区别呀, 它解决了 MySQL 的那些问题呢? 每一个新事物的出现, 都是为了解决原本存在的问题.对写入友好, 支持异步大批量并发写入可动态添加列按列存储数据, 不存在的列不会落盘, 节省空间. 而 MySQL 中不存在的内容也要用 null 填充支持海量数据分布式存储(BigTable 最开始就是 Go原创 2021-02-28 00:13:03 · 711 阅读 · 0 评论 -
HBase 命令行
hbase是一款分布式数据库. 其对数据的索引只通过row key进行. 在存储数据的时候, 通过row key的排序进行存储. 在面对一个新的数据库时, 深究其原理并不知一个明智的选择, 正如开车一般, 大多数人都是先学会开车, 然后在开车的过程中车子出故障了, 再慢慢学着去修理. 不管怎么说, 第一步都是要先会使用.这篇文章主要为了整理hbase命令行的使用, 留待以后用到时翻阅.读取数据因为一个数据库使用, 通常最复杂的命令就是查询, 故而将大篇幅都给了查询. 哦对, 如果你现在还没有数据原创 2020-12-03 19:30:27 · 588 阅读 · 0 评论 -
MySQL指令笔记
-- 双中划线+空格: 单行注释, 与#相同-- 链接数据库mysql.exe -h localhost -P3306 -uroot -p-- 查看服务器的对外处理字符集show variables like 'character_set%';-- 修改服务器认为的客户端数据的字符集为gbk;(单次访问有效)set character_set_client = gbk;--...原创 2019-05-09 21:49:11 · 121 阅读 · 0 评论