- 博客(25)
- 收藏
- 关注
RSS订阅原创 行存储与列存储区别
对于数据仓库和分布式数据库来说，大部分情况下它会从各个数据源汇总数据，然后进行分析和反馈，其操作大多是围绕同一列属性的数据进行的，而当查询某属性的数据记录时，列式数据库只需返回与列属性相关的值，在大数据量查询场景中，列式数据库可在内存中高效组装各列的值，最终形成关系记录集，因此可以显著减少IO消耗，并降低查询响应时间，非常适合数据仓库和分布式的应用。1）数据读取时，行存储通常将一行数据完全读出，如果只需要其中几列数据的情况，就会存在冗余列，出于缩短处理时间的考量，消除冗余列的过程通常是在内存中进行的。
2024-01-18 15:24:56
373
原创 holo3:Event Time Column（Segment Key）聚簇索引Clustering Key
在V1.1之前版本，可以通过并发度通过参数hg_experimental_foreign_table_executor_max_dop控制，默认为实例的Core数，在导入时设置更小的hg_experimental_foreign_table_executor_max_dop参数，降低导入的内存使用，解决出现OOM的情况。Key对应的字段在写入时没有与时间有强相关性（比如基本乱序），那在查找旧数据时需要扫描的文件将会非常多，不仅会有大量的IO操作，而且会大量占用CPU，影响写入性能和整个实例的负载。
2024-01-17 10:38:58
866
原创 Hologres性能优化指南2：分布键Distribution Key，
在Hologres中，Distribution Key属性指定了表数据的分布策略，系统会保证Distribution Key相同的记录被分配到同一个Shard上。Distribution Key是非常重要的分布式概念，合理设置Distribution Key可以达到如下效果：显著提高计算性能。不同的Shard可以进行并行计算，从而提高计算性能。显著提高每秒查询率（QPS）。当您以Distribution Key做过滤条件时，Hologres可以直接筛选出数据相关的Shard进行扫描。
2023-12-27 13:38:47
960
原创 Flink--ParameterTool.fromArgs(args)--参数格式
Flink--ParameterTool.fromArgs(args)--参数格式
2023-03-08 17:52:20
447
原创 centos6.8安装mysql5.7报错
错误信息：2020-05-16T22:52:44.186526Z 0 [ERROR] Fatal error: mysql.user table is damaged. Please run mysql_upgrade.2020-05-16T22:52:44.186652Z 0 [ERROR] Fatal error: Failed to initialize ACL/grant/time zones structures or failed to2020-05-16T22:52:44.186785Z
2020-06-06 15:26:01
445
原创 荷兰国旗问题和堆排序
将指定数组段分为< = > 三块思路 例如数组 | 3，2，4，5，7，6|指定 L=3-6=R先开辟一个小于等于区：int less=L-1;R=6;3比较6 ++less 将3于++less=L=3,如果L位置的值小于R位置的值，将小于等于区less的值加一扩大开辟，和3交换，（less区域增加和小于R的值交换），3与3交换不动，一直到7，less不动，继续下一位6...
2020-05-19 17:05:00
23
1
原创 zookeeper介绍
1.zk是一个 节点数据库。查询节点：ls /创建节点a存储数据123： create /a 123查询数据 get /a2 zk是拥有文件系统的数据库。3.zk解决了数据一致性的分布式数据库启动集群zk客户端：zkCli.sh -server localhost:2181数据的一致性：强一致，弱一致，最终一致性分布式架构理论：CAP 根据不同场景选择zk满足...
2020-05-07 18:38:31
290
原创 Dubbo分布式架构（Zookeeper）
1.soa架构：![在这里插入图片描述](https://img-blog.csdnimg.cn/20200413111923294.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjI3NTE0,size_16,color_...
2020-04-13 11:41:04
137
原创 Spring框架JDBCTemplate
常见的几种数据源：C3P0数据源<bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource"> <property name="driverClass" value="com.mysql.jdbc.Driver"></property> <property name...
2020-04-12 17:58:50
140
原创 Spring动态代理 AOP
Spring动态代理：首先介绍两种动态代理的实现方式：基于接口的动态代理：Proxy,newProxyInstanceIProducer proxyProducer = (IProducer) Proxy.newProxyInstance(producer.getClass().getClassLoader(), producer.getClass().get...
2020-03-27 17:20:53
136
原创 Spring工厂设计模式，bean生命周期，依赖注入。
Spring工厂设计模式，bean生命周期，依赖注入。SpringIoc的作用，减少程序间的耦合（依赖关系）。SpringIOC容器核心：通过权限class类名，反射创建对象，存入Spring的核心容器中，通过bean id拿到所创建的对象<bean id=‘A’class=’‘B’>以下演示bean对象工厂的原理：/** * 创建Bean对象工厂 * * Bean：在...
2020-03-26 12:55:52
351
原创 InnoDB可重复读隔离级别下如何避免幻读？
InnoDB可重复读隔离级别下如何避免幻读？表象：快照读（非阻塞读）—伪MVCC内在：next-key锁，（行锁+gap锁）当前读：加锁的增删改查语句，无论什么锁，因为读取的是当前最新版本，还要保证并发事务不能修改当前记录，对读取记录加锁。快照读：可能读取到的数据不是最新版本而是历史版本。read committed级别下。当前读与快照读读取的版本一样。repeatable read...
2020-02-22 18:25:04
992
原创 数据库锁(事务并发产生的问题及事务的隔离机制)
数据库锁(事务并发产生的问题及事务的隔离机制)事务并发引起的问题？1.更新丢失–一个事务的更新覆盖了其余的事务2.脏读–查看当前数据库隔离机制，并修改隔离级别为Read Uncommitted（读取未提交内容）在该隔离级别，所有事务都可以看到其他未提交事务的执行结果。本隔离级别很少用于实际应用，因为它的性能也不比其他级别好多少。读取未提交的数据，也被称之为脏读（Dirty Read）...
2020-02-20 16:11:54
234
原创 数据库的四大特性
事务的：原子性、一致性、分离性、持久性原子性、一致性、分离性、持久性(1) 原子性 事务的原子性指的是，事务中包含的程序作为数据库的逻辑工作单位，它所做的对数据修改操作要么全部执行，要么完全不执行。这种特性称为原子性。 事务的原子性要求，如果把一个事务可看作是一个程序，它要么完整的被执行，要么完全不执行。就是说事务的操纵序列或者完全应用到数据库或者完全不影响数据库。这种特性称为原子性。...
2020-02-20 13:40:03
2577
原创 数据库锁：myISAM和InnoDB关于锁方面的区别。
myISAM和InnoDB关于锁方面的区别。1.myISAM默认用的是表级锁，不支持行级锁。myISAM不支持事务。2.INnoDB 默认用的是行级锁，不支持表级锁。INnoDB支持事务对表级锁的理解：对于myISAM而言，对数据进行select查询会自动加上一个表级的读锁，而对表进行增删改的时候会自主加上一个写锁，当读锁未被释放，另一个session中想为表增加写锁，就会导致堵塞，直...
2020-02-14 16:20:38
228
原创 索引6：联合索引的最左匹配原则
联合索引的最左匹配原则什么是最左匹配原则？举例 索引列A和列B 建立联合索引 index(A,B)(A,B顺序有序)explain select X from XX where A=’‘and B=’’ 走 ab索引explain select X from XX where A=’‘走 ab索引explain select X from XX where B=’'不走 ab索...
2020-02-13 18:17:48
9321
原创 索引5：mysql如何定位并调优慢sql查询。
mysql如何定位并优化慢sql查询。具体问题需要具体分析，具体考虑。大致思路1.定位，根据sql慢日志定位查询慢sql.具体操作。show variables like ‘%quer%’重点关注一下三个查询结果：show_query_log :off/on 是否展示慢日志slow_query_log_file 慢日志存放路径long_query_time 定义为慢查询...
2020-02-12 19:14:22
3199
原创 索引4：密集索引与稀疏索引
密集索引与稀疏索引区别：秘籍索引文件中的每个搜索码值都对应一个索引值稀疏索引文件只为索引码的某些值建立索引项密集索引的定义：叶子节点保存的不只是键值，还保存了位于同一行记录里的其他列的信息，由于密集索引决定了表的物理排列顺序，一个表只有一个物理排列顺序，所以一个表只能创建一个密集索引稀疏索引：叶子节点仅保存了键位信息以及该行数据的地址，有的稀疏索引只保存了键位信息机器主键mysam存储...
2020-02-12 16:28:19
453
原创 索引3：Hash索引与BitMap索引
Hash索引原理：hash索引是将索引键通过hash运算后，将运算结果的hash值和对应的行指针信息存储Bucket。引用：‘’哈希索引（hash index）基于哈希表实现，只有精确匹配索引所有列的查询才有效。对于每一行数据，存储引擎都会对所有的索引列计算一个哈希码（hash code），哈希码是一个较小的值，并且不同键值的行计算出来的哈希码也不一样。哈希索引将所有的哈希码存储在索引中，同时...
2020-02-11 13:41:49
2653
原创 剑指算法：二维数组的查找
首先需要明确：什么是二维数组，二维数组和一维数组一样，一维数组存放元素，二维数组存放一维数组，实质也是存储数据的一个容器对象。二维数组在定义上和一维数组一样，动态初始化和静态初始化。二维数组的动态初始化方式数据类型[][]数组名称 = new 数据类型[一维数组的个数] [ 每一个一维数组的元素个数 ]明确数组下标开始位置：arrs[0][0]=1;arrs[0][1]=2;arr...
2020-02-11 11:33:01
273
原创 数据库索引理解，基于索引的二叉树，B树，B+树理解。
数据库索引理解，基于索引的二叉树，B树，B+树理解。理解索引从以下几个问题开始：1.为什么使用索引？- 快速查询数据通常查询数据，需要将全表扫描加载进入内存，耗时费力。为了避免全表扫描，采用类似字典方式增加索引，以提高查询效率。2.什么信息可以做索引？-主键，唯一键，普通键等。（后续详细说明）3.索引的数据结构？1.建立二叉树结构（复杂的有红黑树，平衡二叉树，线性二叉树）进行查找。2...
2020-02-10 18:35:29
990
原创 一个关系型数据库的设计考虑应从模块化考虑：
一个关系型数据库的设计考虑应从模块化考虑：一个关系型数据库的设计考虑应从模块化考虑：首先大体上分为一：存储模块（文件存储系统，用于将数据持久化存储进入磁盘）和用于管理的所存储数据的二：程序实例部分。程序实例部分划分为：1.存储管理模块，用于将数据的逻辑结构映射为物理结构，存储数据块(应该考虑存储的优化，减少查询I/O)2,缓存机制模块（出于第一点存储查询的优化，引入缓存机制，由于查询一条...
2020-02-09 17:40:47
1567
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人