[大数据搜索数据库YupDB]YupDB功能介绍-异构存储

本文链接：https://blog.csdn.net/YupDB_XYD/article/details/82350155

本文介绍了如何利用YupDB的异构存储功能，通过将索引部分存储在SSD上，数据部分存储在SATA盘，以达到降低成本并接近SSD性能的效果。步骤包括确认YupDB版本、配置Hadoop异构存储、创建异构目录、指定存储策略及设置YupDB配置。此外，还提到了不同文件扩展名的含义以及创建测试表的方法。

摘要由CSDN通过智能技术生成

众所周知SSD的性能是普通SATA 盘的百倍以上，但是SSD真是太贵太贵了,
100T的存储用SATA盘可能才五六万块钱，同样大小即使最廉价的三星SSD也需要50～60万才能下来，如果是十台呢？二十台呢？

如何用SATA盘的成本，让YupDB有着近似于SSD 的性能？
答案就是————
这里写图片描述

让我们先来了解下如何通过异构存储来节约我们的存储成本.
YupDB的文件存储由两部分组成,分别为数据部分与索引部分
索引部分对整体的数据检索性能起着至关重要的影响,而数据则相对来说差一些.
如果:将数据部分存储在SATA盘,而将索引部分存储在SSD盘上, 这样就可以有效的降低存储成本
以某生产项目为例,索引部分只占整体存储的五分之一,如果做2份冗余,冗余部分只需要存储在SATA盘上,那么SSD部分仅需整体存储的十分之一,如果数据可以按照冷热数据区分,那么我们可以将近期的数据可以使用SSD存储,根据时间的推移慢慢的将数据转移到SATA盘中。

废话不多说，接下来给大家介绍如何给我们的YupDB配置异构环境
1.首先我们要确保目前使用的YupDB版本是YupDB1.3.5（含）以上版本，在此之前的版本是不支持异构存储的。
2.如果您使用的是HDP版本的Hadoop的话，需要在ambari中指定Datanode中那些盘是SSD，那些盘是SATA盘
这里写图片描述
ps：关于Hadoop异构存储部分配置，您可以通过以下进行了解
Hadoop异构存储配置
3.创建异构文件目录

hadoop  fs -mkdir  /data/yupdb/ssdindex
hadoop  fs -mkdir  /data/yupdb/ssdindex2
hadoop  fs -mkdir  /