- 博客(6)
- 收藏
- 关注
原创 Solr BlockCache
Solr BlockCache概述源码分析初始化BlockCacheBlockDirectoryCacheBlockDirectory写流程读流程概述Solr 中为了加速索引在 HDFS 上的读写,增加了缓存,相关代码均位于 org.apache.solr.store.blockcache 包中。源码分析本篇源码基于 lucene-solr-8.5.2。初始化初始化的过程位于 HdfsDirectoryFactory 的 create 方法中,启用 BlockCache 需要配置对应参数,可参考
2021-04-21 10:40:57
285
原创 HBase 配置概要
配置文件hbase-env.shhbase-site.xmlhbase-env.sh前面的一些脚本中有加载 hbase-env.sh 中的环境变量,这些变量都是给用户提供的可配置项。它设置了 HBase 运行中的一些重要 JVM 参数,在对 HBase 进行调优时可能会用到。文件格式是以export 环境变量名=变量值这种形式组织的JAVA_HOME - JDK 路径,Java 1.8+HBASE_CLASSPATH - 额外的 Java CLASSPATH,可选项HBASE_HE
2020-12-16 16:44:51
301
原创 HBase 启停流程分析(下)
停止流程stop-hbase.sh附 4stop-hbase.sh停止 hadoop hbase 守护程序,在主节点上运行以停止整个 HBase 服务。# 仿照 $HADOOP_HOME/bin/stop-hbase.sh.bin=`dirname "${BASH_SOURCE-$0}"`bin=`cd "$bin">/dev/null; pwd`# 加载环境变量和参数. "$bin"/hbase-config.sh. "$bin"/hbase-common.sh# 停止命令需
2020-12-16 15:17:35
549
2
原创 HBase 启停流程分析(上)
启动流程start-hbase.sh附 1附 2hbase-config.shhbase-daemons.shhbase-daemon.shhbase-common.shzookeepers.sh附 3master-backup.shregionservers.shbin/hbase版本:hbase-2.2.4说明:分析展现的源码和脚本中会省略一部分,只保留与分析相关联的,感兴趣的可自行查阅。start-hbase.sh启动 HBase 的入口,有两种模式:单机模式和集群模式,何种模式取决于用户的配
2020-12-15 17:56:40
534
原创 Lucene源码分析 - 倒排索引之索引表
概要前文已经介绍过什么是倒排索引了,本文将对倒排索引的结构深入进行理解,见下图整个倒排索引其实分为两部分,左边是Term Dictionary,右边是Postings List,例如对以下内容建立倒排索引,结构较为贴近HashMap>,可类比设想Map的key为Term,value为Postings...
2020-03-14 16:30:48
1169
原创 Lucene源码分析 - 索引创建过程
Lucene的诞生背景传统数据库常见数据结构: 结构化数据:表、字段表示的数据 半结构化数据:xml、html等 非结构化数据:文本、文档、图片、音频、视频等 索引原理:对列值创建排序存储,数据结构={列值、行地址},在有序数据列表中就可以利用二分查找快速找到要查找的行的地址,再根据地址直接取行数据 索引特点:数据库适合结构化数据的精确查询,而不适合半结构化、非结构化数...
2019-08-21 11:02:18
1088
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人