- 博客(5)
- 收藏
- 关注
RSS订阅原创 提升大数据集群稳定性：主从集群&过载保护
主从集群1.主从简介LSQL在主从集群上需要启动两个LSQL，两个LSQL是在进程上的资源隔离。在主上面可以进行数据的导入、删除以及查询。从只能负责数据的查询。启动多个lsql集群，一主多从。 在主上面做数据写入。从做查询。 与mysql不同的是，主从共享同一份数据。 2.配置方法主从集群，需要在两个不同的机器上配置。在lsql_env....
2020-02-26 23:44:39
573
转载 多维关系分析必备：多列联合倒排索引
长期以来，Lucene在搜索领域的垄断地位无人能及，基于Lucene之上的Elastic Search与Solr 也是家喻户晓的产品；录信数据库最初的版本也是基于Lucene来实现的，在设计之初经常会遇到跟solr、es同样的问题。如面对几十亿的数据就遇到内存爆掉的问题，此时CPU与IO都飙到系统极限；100亿的数据就需要100多台512G的大内存与SSD盘的硬件支撑，内存参数略微调不好就出...
2020-02-25 23:38:32
596
转载 ElasticSearch之geohash替代方案：基于morton码的地理位置检索与轨迹匹配应用
地理位置检索服务在日常生活中随处可见，小到共享单车、高德地图，大到飞行航线轨迹。上述服务中很多相关功能都可以通过GeoHash来实现，Lucene/Solr中也有应用到GeoHash，通过GeoHash创建索引、查询索引以及距离的计算等等。GeoHash编码Lucene内部sandbox包支持地理位置检索，默认实现可以支持方形，圆形和多边形的地理位置检索。GeoHash算法本质上是空间...
2020-02-24 23:06:54
1730
原创 基于HDFS异构机制的协同存储功能详解
你还在堆机器吗？你还在依赖大内存吗？你在为大量的SSD盘成本而心痛吗？Hadoop异构存储了解一下~异构存储简言之，就是从硬件设备上进行优化存储和性能，针对冷数据，采用容量大的、读写性能不高的介质存储，比如普通的磁盘；针对热数据，实时进行查询的，经常用到的就用SSD进行存储。在说Hadoop的异构存储之前我们先来简单了解一下SSD和SATA硬盘各自的优缺点。硬盘对比...
2020-02-14 22:42:25
467
2
原创 基于HDFS异构机制的列簇功能详解
千亿数据规模下，数据查询系统的性能与储存成本成正比，要达到满意的查询性能需要昂贵的存储设备来存储海量的数据，反之廉价的存储设备会降低查询速度，所以需要一种兼顾性能与成本的分级存储方法。目前主流存储设备按照读取速度从快到慢的顺序，有内存、SSD固态硬盘、SAS机械硬盘、SATA机械硬盘，其价格也与之成正比。从稳定可靠的性能看，正好反之，速度越慢的设备越不容易损坏，内存最容易丢失数据，在断电的情况...
2020-02-13 23:16:31
354
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人