ElasticSearch
upupfeng
贵有恒,要坚持~~
展开
-
ES读写流程
简述ES的写流程,GET读取数据流程和Search搜索数据流程。原创 2020-08-11 23:40:59 · 2002 阅读 · 0 评论 -
Spark读写ES
本文主要介绍spark sql读写es、structured streaming写入es以及一些参数的配置ES官方提供了对spark的支持,可以直接通过spark读写es,具体可以参考ES Spark Support文档(文末有地址)。以下是pom依赖,具体版本可以根据自己的es和spark版本进行选择:<dependency> <groupId>org.el...原创 2020-01-17 14:25:33 · 1945 阅读 · 0 评论 -
ES(一)ES基本概念
ES简介ES是基于Lucene分布式搜索服务,可以存储整个对象或文档分布式的实时文件存储,每个字段都被索引并可被搜索分布式的实时分析搜索引擎可以扩展到上百台服务器,处理PB级结构化或非结构化数据与传统数据库的对比:Relational DB -> Databases -> Tables -> Rows -> ColumnsElasticsearch ->...原创 2019-01-07 21:08:05 · 4120 阅读 · 0 评论 -
ES(二)ES安装及集群的搭建
ES安装安装步骤准备安装包https://www.elastic.co/downloads/elasticsearch解压安装包tar -xvf elasticsearch-5.5.2.tar.gz安装完成创建一个es用户(es不能使用root运行)groupadd esuseradd es -g es -p eschown -R es:es /home/software/es/...原创 2019-01-07 22:01:10 · 6143 阅读 · 0 评论 -
ES(三)ELK的搭建与使用
ES(三)ELK的搭建与使用概念ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎,提供搜集、...原创 2019-01-08 22:27:55 · 3386 阅读 · 0 评论 -
ES(四)ES使用(基本查询、聚合查询)
基本操作操作索引1.新建索引curl -XPUT localhost:9200/index012.查看索引curl -XGET http://192.168.168.101:9200/index01/_settingscurl -XGET http://192.168.168.101:9200/index01,blog/_settings3.删除索引curl -XDELETE ht...原创 2019-01-08 22:31:50 · 119438 阅读 · 2 评论 -
ES(五)ES与Hive之间的数据读写
ES(五)ES与Hive之间的数据读写准备工作准备交互的jar包:elasticsearch-hadoop-6.5.4.jar下载地址https://www.elastic.co/downloads/hadoop准备一张有数据的hive表我使用的是从mysql导入过来的表(information表)./sqoop import --connect jdbc:mysql://lo...原创 2019-01-08 22:33:01 · 8768 阅读 · 4 评论 -
ES cardinality 去重计数不准确的问题
记录es在使用cardinality实现count(distinct)时会在准确性和及时性上做一定的取舍可以在使用cardinality时,配置下面的参数来增加准确性,牺牲的是时间和内存percision_threshold : 40000 ...原创 2019-05-29 23:59:57 · 6532 阅读 · 2 评论