数据库
火树银花之处
努力追求卓越、成功就会出其不意的找上门来.
展开
-
elasticsearch磁盘不足造成index只读
1、logstash报错[INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only / ...原创 2020-04-27 14:57:48 · 2420 阅读 · 0 评论 -
Hbase数据写入流程
1、组件架构图2、相关概念1)Regiontable在行的方向上分隔为多个Region,或者说是根据rowkey分割。Region是HBase中分布式存储和负载均衡的最小单元,即不同的region可以分别在不同的Region Server上,但同一个Region是不会拆分到多个server上。Region按大小分隔,表中每一行只能属于一个region。随着数据不断插入表,regi...原创 2020-04-21 20:59:22 · 1611 阅读 · 0 评论 -
elasticsearch常用操作(curl模式)
elasticsearch常用操作(curl模式)1、curl 'hadoop01:9200/_cat/indices?v' 查看所有索引 (结合grep可以过滤)2、curt -XDELETE 'hadoop01:9200/XXX' 删除XXX索引原创 2020-02-26 12:04:51 · 163 阅读 · 0 评论 -
Hbase协处理器简介
Hbase协处理器简介使用协处理器的风险:直接在RegionServer上运行,直接接触数据,轻则影响集群的性能和稳定性,重则破坏数据;系统协处理器针对整个集群,表协处理器只针对某张表;...原创 2020-02-08 14:33:52 · 224 阅读 · 0 评论 -
Hbase基本优化策略
Hbase基本优化策略重点1、适当增大regionServer的内存2、配置文件根据以下属性优化:Hbase写优化:1)Hbase写数据是先写入memStore,然后写入Hlog中,可以考虑同步批量提交或者异步批量提交,异步批量提交可能存在数据丢失的风险;2)WAL预写日志优化,是否必须,持久化等级,如果可以接受数据部...原创 2020-02-06 17:04:51 · 249 阅读 · 0 评论 -
Hbase基本操作
Hbase基本操作查询整个列蔟:scan 'testTable',{COLUMN=>'cf'}查询列蔟中的一列:scan 'testTable',{COLUMN=>'cf:a'}查询某个rowid的值:get 'testTable','rowid1'查询某个rowid中的某个列蔟的值:get 'testTable','rowid1','cf'查询某个rowi...原创 2020-02-06 14:07:27 · 158 阅读 · 0 评论 -
Hbase入门及简介
Hbase入门及简介hbase是CP型;行式数据库与列式的区别:1)存储区别行式数据库:数据在磁盘上是一行一行连续存储的,列式数据库:数据在磁盘上是一列一列连续存储的;2)查询(读取)区别行式数据库可能会涉及所有的行或者所有的列,严重消耗IO列式数据库只会涉及对应的列,极大降低了IO3)...原创 2020-02-05 21:27:46 · 287 阅读 · 0 评论 -
elasticsearch性能优化常见方法
亿级数据毫秒级查询!ElasticSearch之性能优化1. 性能优化的杀手锏:Filesystem Cache2. 数据预热3. 冷热分离4.ElasticSearch中的关联查询5.Document模型设计6. 分页性能优化一道面试题的引入:如果面试的时候碰到这样一个面试题:ElasticSearch(以下简称ES) 在数据量很大的情况下(数十亿级别)如...原创 2020-01-18 21:07:35 · 671 阅读 · 0 评论 -
elasticsearch基本概念及原理简述
elasticsearch为什么这么快? 基于倒排索引的查询; 倒排索引就是将内容拆分成词作为索引的key,内容作为value 当索引过多时需要压缩内容 当拥有相同索引,不同value时,可以形成索引矩阵,一个索引指向多个value 一般搜索引擎包括:爬取内容,分词,建立索引 es是一个基于lucene库的全文检索引擎 es将对搜索引擎的操作封装成了restful的api...原创 2020-01-18 20:38:30 · 235 阅读 · 2 评论