数据存储
文章平均质量分 89
包括MySQL、Hive、ElasticSearch、HBase
时下握今
好好学习、天天向上; 喜欢代码,热爱时间
展开
-
客户端读写HBase数据库的运行原理
⑦ 随着不断的合并, HFile文件会越来越大,当这个大的HFile文件达到一定的阈值( “最终” 10GB)后,就会触发Split的分裂机制, 将大的HFile进行一分为二操作, 形成两个新的大HFile文件, 此时Region也会进行一分为二操作, 形成两个新的Region, 一个Region管理一个新的大HFile, 旧的大HFile和对应Region就会下线删除。一行数据的一个memstore触发溢写,该行数据的其它menstore也会同时触发溢写,增加了小文件的数量。原创 2023-08-28 18:30:23 · 721 阅读 · 0 评论 -
MySQL-InnoDB的事务隔离级别
MySQL-InnoDB的事务隔离级别 及 MVCC实现原理原创 2022-12-11 20:06:11 · 994 阅读 · 0 评论 -
MySQL存储引擎InnoDB架构
本文讲述了MySQL- InnoDB存储引擎的内存结构和磁盘结构,适用于MySQL数据库运维人员及性能调优阅读原创 2022-11-30 18:39:43 · 1453 阅读 · 1 评论 -
Sqoop的安装和使用__hdfs和关系型数据库之间数据的导入和导出
Sqoop1.用于hdfs和关系型数据库之间数据的导入和导出的一个开源工具2.可以从hdfs导出数据到关系型数据库,也可以从关系型数据库导入数据到hdfsSqoop的安装1.官网网站http://sqoop.apache.org下载对应的安装包2.安装包解压后配置环境变量3.上传mysql数据库连接包到sqoop/lib目录4.安装成功Sqoop的使用1.帮助指令sqoop import -help2.查看mysql所有数据库sh sqoop list-databases --原创 2020-05-28 12:09:08 · 343 阅读 · 0 评论 -
Impala小复习
Apache ImpalaImpala是个实时的查询工具,与hive相比,减少了YARN资源申请时间和MR计算过程的ShuffleHive计算,SQL语句解析编译成MR程序,提交到YARN上运行Impala,SQL语句不再转化成MR程序执行,而是编译成执行计划树Hive和Impala拥有相同的一套元数据,也可以理解成Impala直接使用Hive的元数据库Impala适用于实时查询的场景、hive适用于离线批处理场景数据流方面,hive中前一个计算节点计算完成后将数据主动退给后一个节点。impa原创 2021-03-15 19:00:40 · 159 阅读 · 2 评论 -
Hive查询性能优化
使用JOIN特性优化;IO优化;JVM重利用;关闭推测执行机制;使用groupBy特性解决数据倾斜原创 2020-05-27 17:18:48 · 399 阅读 · 0 评论 -
Hive切换MySQL数据库
CentOSMySQLHive原创 2020-05-21 12:36:41 · 826 阅读 · 0 评论 -
Hive常见表结构
外部表、内部表、分区表、分桶表行格式、表的文件存储格式用户自定义函数UDF原创 2021-03-10 17:42:28 · 621 阅读 · 0 评论 -
Elasticsearch基本操作
基本操作ES和MySQL定义上的一些区别ESMySQLIndex库Types表Documents行mapping表结构Elasticsearch 6.X 中,一个 index 包含一个TypeElasticsearch 7.X 中, Type 的概念已经被删除索引Index,类似关系数据库的 database场景协议URL创建索引PUThttp://172.176.21.220:9200/shopping查看所有原创 2021-06-04 18:00:37 · 115 阅读 · 0 评论 -
Elasticsearch分析分词器
包括:查看文本分词;指定ES使用分析分词器;对扩展词汇部分词;自定义分析分词器原创 2021-06-06 18:50:14 · 165 阅读 · 2 评论 -
Elasticsearch优化
Elasticsearch 重度使用磁盘磁盘能处理的吞吐量越大,节点就越稳定;硬盘建议使用SSD,建议使用条带化 RAID 会提高磁盘 I/O,不建议使用镜像;配置多磁盘存储,即配置索引数据、日志不同存储目录,elasticsearch-7.13.0/config/ elasticsearch.yml...原创 2021-06-07 16:39:44 · 185 阅读 · 0 评论 -
CentOS7上安装Elasticsearch-Logstash-Kibana
Elasticsearch7、Kibana7 在CentOS7环境的搭建步骤原创 2021-05-28 11:56:08 · 172 阅读 · 2 评论 -
HBASE集群安装
环境准备:CentOS Zookeeper JDK HBASE原创 2020-05-26 18:38:53 · 129 阅读 · 0 评论 -
HBase的架构和原理(三)--HFile文件的描述
Hbase中HFile文件的描述原创 2020-06-01 14:56:54 · 298 阅读 · 0 评论 -
HBASE数据库非硬件方面的调优
HBASE调优ROWKEY设计、列族设计原创 2020-06-03 18:44:35 · 142 阅读 · 0 评论 -
HBase的架构和原理(一)--HBASE集群构成
Hbase采用HMaster/HRegionServer主从架构搭建集群。由zookeeper、HMaster、HRegionServer、HDFS结点组成原创 2020-06-01 14:25:39 · 418 阅读 · 0 评论 -
HBase的架构和原理(四)--MemStore的Flush动作和HFile的Compaction机制
Hbase中MemStore的Flush动作和HFile的Compaction机制原创 2020-06-01 15:09:05 · 303 阅读 · 0 评论 -
HBase的架构和原理(二)--HRegion
Hbase中HRegion原创 2020-06-01 14:41:11 · 925 阅读 · 1 评论 -
Shell模式下对Hbase数据库的操作
Hbase中的基本概念Namespace:类似关系数据库中的 数据库实例,默认使用default的名称空间VERSIONS => 5 :HBase的每一个单元格内可以存储多个数据,所以需要用VERSION标记数据版本,数据版本默认是用时间戳标记。默认每一个单元格内只保留一个版本的数据。如果指定保留多个版本的数据,那么在获取数据的时候获取的是最新版本的数据。保留5个版本的数据Cell:rowkey+column+version,能确定唯一地一条数据,也就是一个单元格命令行操作通过sh hba原创 2020-05-28 19:04:03 · 305 阅读 · 0 评论 -
MySQL中慢查询SQL语句查找和分析
SHOW VARIABLES LIKE '%slow_query_log%';日志分析工具 mysqldumpslowSHOW VARIABLES LIKE 'profiling';原创 2021-06-15 10:56:23 · 273 阅读 · 0 评论 -
分析一条SQL语句加了什么锁
本文讲述了MySQL的锁类型,并给出了两条SQL语句,分别分析在RC和RR隔离级别下加锁原理原创 2021-06-11 19:21:42 · 564 阅读 · 1 评论