- 博客(26)
- 资源 (3)
- 收藏
- 关注
原创 mysql的索引使用(三)-SQL优化
中我们创建的索引,默认索引的叶子节点是从小到大排序的,而此时我们查询排序 时,是从大到小,所以,在扫描时,就是反向扫描,就会出现 Backward index scan。因为创建索引时,如果未指定顺序,默认都是按照升序排序的,而查询时,一个升序,一个降序,此时 就会出现Using filesort。引擎并不会把全部字段取出来,而是专门做了优化,不取值,服务层直接 按行进行累加。通过测试我们会看到,越往后,分页查询效率越低,这就是分页查询的问题所在。是一个聚合函数,对于返回的结果集,一行行地判断,如果。
2023-05-21 16:43:05
99
原创 mysql的索引使用(二)
索引使用索引使用在讲解索引的使用原则之前,先通过一个简单的案例,来验证一下索引,看看是否能够通过索引来提升 数据查询性能。在演示的时候,我们还是使用之前准备的一张表 tb_sku ,在这张表中准备了1000w 的记录。这张表中id为主键,有主键索引,而其他字段是没有建立索引的。我们先来查询其中的一条记录,看看里面的字段情况,执行如下SQL可以看到即使有1000w的数据根据id进行数据查询性能依然很快,因为主键id是有索引的。那么接 下来,我们再来根据 sn。
2023-05-21 15:21:45
91
原创 mysql的索引介绍(-)
索引(index)是帮助MySQL高效获取数据的数据结构有序。在数据之外,数据库系统还维护着满足 特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据, 这样就可以在这些数据结构 上实现高级查找算法,这种数据结构就是索引。特点。
2023-05-21 13:44:30
68
原创 mysql存储引擎的介绍
存储引擎就是存储数据、建立索引、更新查询数据等技术的实现方式。存储引擎是基于表的,而不是 基于库的,所以存储引擎也可被称为表类型。我们可以在创建表的时候,来指定选择的存储引擎,如果 没有指定将自动选择默认的存储引擎。1).建表时指定存储引擎。
2023-05-21 11:17:35
60
原创 Hbase的读写流程
查看hbase基本介绍的参考hbase的基本介绍和表模型1.habse的逻辑结构2.habse的物理结构3.hbase的集群架构主节点HMaster的作用:管理众多从节点用于分配region给从节点负责元数据管理操作从节点HRegionserver的作用:管理众多从节点用于分配region给从节点负责元数据管理操作Hbase集群中可以有多个Hmaster(一主多备)和多个HRegionserver组成。一个HRegionserver由一个HLog和多个Region组成
2022-04-17 14:22:07
5849
1
原创 hbase的基本介绍和表模型
1.hbase的作用和应用场景支持海量数据的存储,虽然没有hdfs存储性能高,但是支持数据的随机读写,性能比较如下:HBase仅支持三种数据读取方案:1.根据rowkey的单行数据查询,比如:get table_name row_key2.根据rowkey的范围数据查询比如:scan ‘表名’ , {COLUMNS=>[‘列族’ | ‘列族:列名’ …], STARTROW=>‘起始rowkey值’ ,ENDROW=>‘结束rowkey值’, FORMATTER=>‘to
2022-04-17 12:27:43
1892
原创 hive导入导出数据自动化的shell脚本
1.从mysql导入到hive的ods层的shell脚本传参表示要导入的数据分期日期,sqoop导入,实例:#!/bin/bashexport SQOOP_HOME=/usr/bin/sqoopif [ $# == 1 ] then dateStr=$1 else dateStr=`date -d '-1 day' +'%Y-%m-%d'`fidateNowStr=`date +'%Y-%m-%d'`yearStr=`date -d ${dateStr}
2022-03-28 12:19:08
3315
原创 hive优化
1.存储格式和压缩格式一般分为列式和行式存储,行式包含text、sequence两种类型;列式包含orc和Parquet两种;压缩方式比较多,gzip、bzip2、DEFLATE、LZO、LZ4、Snappy。开启map压缩:set hive.exec.compress.intermediate=true;set mapreduce.map.output.compress=true;set mapreduce.map.output.compress.codec= org.apache.hadoo
2022-03-26 11:22:09
705
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人