![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ElasticStack
codenow.fun
不惑于自己,不惑于未来;找到自己的兴趣爱好,并不断坚持下去。
展开
-
HBase海量业务数据二级查询实现毫秒级响应,HBase原理与数据模型设计详解
为什么需要使用HBase做海量业务数据的存储1、扩展性强、容量大,支持百亿行、百万列数据的存储。HBase底层基于HDFS,可动态增加节点2、高可靠性,WAL机制保证数据的安全性,Replication机制保证集群的数据容灾能力3、高性能,由于底层的LSM数据结构和RowKey有序排序,HBase具备较好的随机读取性能,RowKey的查询可达毫秒级响应4、稀疏性、面向列存储,空列不...原创 2020-04-27 23:29:03 · 911 阅读 · 0 评论 -
ElasticSearch 7.4的DSL查询——简单检索、复合检索与高级检索
空搜索 ,返回集群索引中的所有文档http://192.168.1.135:9200/_search/ 查询结果中的hits部分,total表示检索出的记录总数,还包含着查询的前十条记录增删改查,复合查询### 一、条件查询http://192.168.1.135:9200/score-statistics-2019.10/_search/查询mac为11010030333...原创 2019-12-30 23:23:30 · 1055 阅读 · 0 评论 -
logstash消费kafka消息并发送es
bin/logstash -f config/logstash.conf自动更新配置启动:./bin/lagstash -f configfile.conf --config.reload.automatic后台启动并自动更新配置利用nohup扔到后台运行。nohup /usr/local/ELk/logstash-5.1.1/bin/logstash -f /usr/lo...原创 2019-12-25 23:55:19 · 2532 阅读 · 0 评论 -
Logstash7.4实现Kafka消息、Beats、MySQL的数据收集、解析、转换和ElasticSearch存储的应用场景
ElasticSearch是个是一个分布式、可扩展、实时的搜索与数据分析引擎,如何将海量数据源高效可靠的写入到ElasticSearch是个无法避免的Logstash概念与原理Logstash 是开源的服务器端数据处理管道,能够同时从多个来源动态地采集、转换和传输数据到ElasticSearch的索引中,进而对数据进行分词、检索与分析,不受格式或复杂度的影响,它提供了丰富的过滤器库,如能利...原创 2019-11-13 23:45:20 · 1532 阅读 · 0 评论 -
ElasticSearch7.4的数据类型,Mapping Type, 指定索引Document的Mapping Type
ElasticSearch7.4的数据类型,Mapping Type, 指定索引Document的Mapping Type基础数据类型:(ELasticsearch 5.X之后的字段类型不再支持string,由text或keyword取代) 一、字符串 1.1 文本类型 text 当一个字段需要用于全文搜索(会被分词), 比如产品名称、产品描述信...原创 2019-11-02 17:32:03 · 4010 阅读 · 0 评论 -
ElasticSearch 7.4中不同的beats实现各种不同数据采集Filebeat、Functionbeat、Heartbeat、Metricbeat、Packetbeat Winlogbeat
ElasticSearch 7.4的Beats,不同的beats用于收集各种不同的数据发送到elasticsearch或者logstash,这使得平台的数据可视化,无疑为平台的运营、运维还有决策规划提供了最可靠的支持。##### 轻量型审计日志采集器 Auditbeat Audit dataAuditbeat is a lightweight shipper that you c...原创 2019-10-27 23:14:33 · 1351 阅读 · 0 评论 -
ElasticSearch7.4启动出错,java.nio.file.AccessDeniedException: …/elasticsearch-7.4.0/config/jvm.options
最近在维护ElasticSearch集群的过程中,有时因为在配置和启动时的时候疏忽用户权限问题,而造成一些小问题,但还是不留意还是会产生,具体报错如下Exception in thread "main" java.nio.file.AccessDeniedException: /usr/local/software/packages/elasticsearch-7.4.0/config/jvm...原创 2019-10-22 23:50:46 · 9369 阅读 · 0 评论 -
ElasticSearch7.4启动报错ElasticsearchUncaughtExceptionHandler] … can not run elasticsearch as root
报错[root@localhost elasticsearch-7.4.0]# ./bin/elasticsearchOpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release....原创 2019-10-20 16:25:23 · 3411 阅读 · 0 评论 -
ElasticSearch报错,.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run e
在为ElasticSearch升级新版本的时候,报了些错[root@localhost elasticsearch-7.4.0]# ./bin/elasticsearchOpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be rem...原创 2019-10-18 14:28:40 · 2640 阅读 · 0 评论 -
ElasticSearch原理剖析,倒排索引实现快速检索
为何要用ElasticSearch 在最近的项目开发中,逐步接触到海量数据的搜索和可视化处理,Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎。 它建立在一个全文搜索引擎库Apache Lucene基础之上,但隐藏了 Lucene中复杂的细节,使用ElasticSearch可以更高效的实现数据的搜索、分析和探索。Elasticsearch 不仅仅可以实现全...原创 2019-09-08 19:02:52 · 471 阅读 · 0 评论 -
ELKB+Kafka——ElasticSearch 7.4配置集群部署实现海量数据存储、搜索分析
ElasticSearch 7.4集群部署实现海量数据存储、搜索分析官网下载ElasticSearch后解压修改 每个进程最大同时打开文件数* soft nofile 65536* hard nofile 65536修改虚拟机程序可打开文件数vm.max_map_count=655360 设置其他主机可访问,并在...原创 2019-10-19 19:16:00 · 440 阅读 · 0 评论 -
ElasticSearch7.x基本概念、版本特性
ElasticSearch7.x基础梳理、版本特性1、基本概念集群(cluster):有一个主节点,通过选举产生,从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。索引(index):数据可以存储在不同索引中,索引可以看做是传统中的数据库,可以在索引中写入文档和搜索文档文档(document),文档由字段组成,是ES索引中数据存储的基本单位...原创 2019-10-19 18:53:58 · 4175 阅读 · 0 评论