【实时数仓】02ES

最新推荐文章于 2024-07-04 09:48:53 发布
最新推荐文章于 2024-07-04 09:48:53 发布
阅读量503 收藏 1
点赞数
分类专栏： 大数据学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37023928/article/details/108177397
版权

一、ES安装

centos7：

vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 65536


vim /etc/sysctl.conf 

vm.max_map_count=262144

重启三台cdh机器

tar -zxvf elasticsearch-6.6.0.tar.gz -C /opt/module/

tar -zxvf kibana-6.6.0-linux-x86_64.tar.gz -C /opt/module/

vim /opt/module/elasticsearch-6.6.0/config/elasticsearch.yml

cluster.name: my-es
node.name: node-1
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: cdh01
discovery.zen.ping.unicast.hosts: ["cdh01", "cdh02", "cdh03"]

集群名称，同一集群名称必须相同
单个节点名称 不能一样

分发到其他两台机器上：

scp -r elasticsearch-6.6.0/ root@cdh03:`pwd`
scp -r elasticsearch-6.6.0/ root@cdh032`pwd`

修改其它两台机器的elasticsearch.yml的node.name、network.host

groupadd elsearch
useradd elsearch -g elsearch
chown -R elsearch:elsearch  /opt/module/elasticsearch-6.6.0

单机一台启动试一试：

/opt/module/elasticsearch-6.6.0/bin/elasticsearch

在这里插入图片描述
直接退出控制台即可退出进程

三台其进行后台启动：

/opt/module/elasticsearch-6.6.0/bin/elasticsearch >/dev/null 2>&1 &

关闭：

ps -ef | grep /opt/module/elasticsearch-6.6.0 |grep -v grep|awk '{print \$2}'|xargs kill

记住，不要用root用户去启动，否则又要修改权限。

curl http://cdh02:9200/_cat/nodes?v

在这里插入图片描述
出现了上面的图，说明启动已经成功了。

vim /opt/module/kibana-6.6.0-linux-x86_64/config/kibana.yml

server.host: "cdh01"
elasticsearch.hosts: ["http://cdh01:9200"]

后台启动：

/opt/module/kibana-6.6.0-linux-x86_64/bin/kibana >/dev/null 2>&1 &

访问地址：

http://cdh01:5601/

二、ES基本概念

对应关系：

在这里插入图片描述
查询各个节点状态：

GET /_cat/nodes?v

查询各个索引状态：

GET /_cat/indices?v

es 中会默认存在一个名为.kibana的索引
表头的含义

health	green(集群完整) yellow(单点正常、集群不完整) red(单点不正常)
status	是否能使用
index	索引名
uuid	索引统一编号         
pri	主节点几个
rep	从节点几个
docs.count	文档数
docs.deleted	文档被删了多少
store.size	整体占空间大小
pri.store.size	主节点占

查询某个索引的分片情况 ：

GET /_cat/shards/xxxx  

PUT customer2020/_doc/1
{
  "id":"0101",
  "name":"zhangshan"
}

结果：

{
  "_index" : "customer2020",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

默认10片数据，5+5x1:
在这里插入图片描述

查看分片：

GET /_cat/shards/customer2020/?v

结果：
在这里插入图片描述
查看集群健康：

GET /_cat/health?v

在这里插入图片描述

2.1 存储结构

在java中的数据：

public class  Movie {
	 String id;
     String name;
     Double doubanScore;
     List<Actor> actorList;
}

public class Actor{
String id;
String name;
}

在es中，是不会像mysql一样存储它们之间的关联关系的：

{
  "id":"1",
  "name":"operation red sea",
  "doubanScore":"8.5",
  "actorList":[  
	{"id":"1","name":"zhangyi"},
	{"id":"2","name":"haiqing"},
	{"id":"3","name":"zhanghanyu"}
  ] 
}

三、基本操作

增加一个索引:

PUT /movie_index

2.3 删除一个索引
ES 是不删除也不修改任何数据的，而是增加版本号

DELETE /movie_index

2.4 新增文档
1、 格式 PUT /index/type/id

PUT /movie_index/movie/1
{ "id":1,
  "name":"operation red sea",
  "doubanScore":8.5,
  "actorList":[  
{"id":1,"name":"zhang yi"},
{"id":2,"name":"hai qing"},
{"id":3,"name":"zhang han yu"}
]
}
PUT /movie_index/movie/2
{
  "id":2,
  "name":"operation meigong river",
  "doubanScore":8.0,
  "actorList":[  
{"id":3,"name":"zhang han yu"}
]
}

PUT /movie_index/movie/3
{
  "id":3,
  "name":"incident red sea",
  "doubanScore":5.0,
  "actorList":[  
{"id":4,"name":"zhang chen"}
]
}

如果之前没建过index或者type，es 会自动创建。
2.5 直接用id查找

GET movie_index/movie/1

2.6 修改—整体替换

PUT和POST都是修改操作，但是PUT会整体替换，POST会替换某一个字段，PUT是幂等性操作，POST是非幂等性操作
和新增没有区别 要求：必须包括全部字段

PUT /movie_index/movie/3
{
  "id":"3",
  "name":"incident red sea",
  "doubanScore":"5.0",
  "actorList":[  
{"id":"1","name":"zhang chen"}
]
}

2.7修改—某个字段

POST movie_index/movie/3/_update
{ 
  "doc": {
    "doubanScore":"7.0"
  } 
}

2.8 删除一个document

DELETE movie_index/movie/3

2.9 搜索type全部数据

GET movie_index/movie/_search

结果

{
  "took": 2,    //耗费时间 毫秒
  "timed_out": false, //是否超时
  "_shards": {
    "total": 5,   //发送给全部5个分片
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 3,  //命中3条数据
    "max_score": 1,   //最大评分
    "hits": [  // 结果
      {
        "_index": "movie_index",
        "_type": "movie",
        "_id": 2,
        "_score": 1,
        "_source": {
          "id": "2",
          "name": "operation meigong river",
          "doubanScore": 8.0,
          "actorList": [
            {
              "id": "1",
              "name": "zhang han yu"
            }
          ]
        }
          。。。。。。。。
          。。。。。。。。
      }

2.10 按条件查询(全部)

GET movie_index/movie/_search
{
  "query":{
    "match_all": {}
  }
}

2.11 按分词查询

GET movie_index/movie/_search
{
  "query":{
    "match": {"name":"operation red sea"}
  }
}

它会查询出三条数据，因为是分词查询的，所以三个分词在三条数据中都存在。

2.12 按分词子属性查询

GET movie_index/movie/_search
{
  "query":{
    "match": {"actorList.name":"zhang"}
  }
}

精准查询

GET movie_index/movie/_search
{
  "query":{
    "term": {"actorList.name.keyword":"zhang han yu"}
  }
}

会查询出值相等的数据，注意使用的是term和keyword
text类型是专用的分词字段、keyword是不分词字段(精准过滤)

2.13 match phrase

GET movie_index/movie/_search
{
    "query":{
      "match_phrase": {"name":"operation red"}
    }
}

按短语查询，不再利用分词技术，直接用短语在原始数据中匹配

2.14 fuzzy查询(容错匹配，运行错误字母)

GET movie_index/movie/_search
{
    "query":{
      "fuzzy": {"name":"rad"}
    }
}

校正匹配分词，当一个单词都无法准确匹配，es通过一种算法对非常接近的单词也给与一定的评分，能够查询出来，但是消耗更多的性能。

2.15 过滤–查询后过滤

GET movie_index/movie/_search
{
    "query":{
      "match": {"name":"red"}
    },
    "post_filter":{
      "term": {
        "actorList.id": 3
      }
    }
}

2.16 过滤–查询前过滤（推荐使用）

GET movie_index/movie/_search
{ 
    "query":{
        "bool":{
          "filter":[ {"term": {  "actorList.id": "1"  }},
                     {"term": {  "actorList.id": "3"  }}
           ], 
           "must":{"match":{"name":"red"}}
         }
    }
}

2.17 过滤–按范围过滤

GET movie_index/movie/_search
{
   "query": {
     "bool": {
       "filter": {
         "range": {
            "doubanScore": {"gte": 8}
         }
       }
     }
   }
}

关于范围操作符：

gt	大于  
lt	小于
gte	大于等于 great than or equals
lte	小于等于 less than or equals

2.18 排序

GET movie_index/movie/_search
{
  "query":{
    "match": {"name":"red sea"}
  }
  , "sort": [
    {
      "doubanScore": {
        "order": "desc"
      }
    }
  ]
}

2.19 分页查询

GET movie_index/movie/_search
{
  "query": { "match_all": {} },
  "from": 1,
  "size": 1
}

2.20 指定查询的字段

GET movie_index/movie/_search
{
  "query": { "match_all": {} },
  "_source": ["name", "doubanScore"]
}

2.21 高亮
GET movie_index/movie/_search
{
    "query":{
      "match": {"name":"red sea"}
    },
    "highlight": {
      "fields": {"name":{} }
    }
    
}

2.22 聚合
取出每个演员共参演了多少部电影

GET movie_index/movie/_search
{ 
  "aggs": {
    "groupby_actor": {
      "terms": {
        "field": "actorList.name.keyword"  
      }
    }
  }
}

groupby_actor：这个是名字，随便填。

每个演员参演电影的平均分是多少，并按评分排序

GET movie_index/movie/_search
{ 
  "aggs": {
    "groupby_actor_id": {
      "terms": {
        "field": "actorList.name.keyword" ,
        "order": {
          "avg_score": "desc"
          }
      },
      "aggs": {
        "avg_score":{
          "avg": {
            "field": "doubanScore" 
          }
        }
       }
    } 
  }
}

text类型的字段是不允许进行分组的，keyword类型的才行。

聚合时为何要加 .keyword后缀？
.keyword 是某个字符串字段，专门储存不分词格式的副本 ，在某些场景中只允许只用不分词的格式，比如过滤filter 比如 聚合aggs, 所以字段要加上.keyword的后缀。

沉淀技术这十年
关注
专栏目录
数仓工具—Hive集成篇之UDF写ES(04)
11-25 3万+
遇到一个问题，让人很无语，前面其实我们介绍过Hive 写ES 或者是Hive 数据导出到ES 的方案，其实基本上就是两类但是今天遇到的这个场景，这两种方法都不太合适，我们的场景是在阿里云上的maxcompute 将数据写到华为云上的elasticsearch，maxcompute 由于是阿里云的基础组件由于阿里云提供了数据集成组件，所以maxcompute根本就不支持外部表，其实我们第一时间想到的就是那直接使用阿里云的数据集成工具不就好了嘛，问题是阿里云的集成工具对elasticsearch的支持只支持阿里
数仓工具—Hive集成篇之ElasticSerach(01)
热门推荐
03-30 5万+
hive 整合 es hive 整合 es 其实主要指的是，我们将hive里面的数据导出到ES,同理我们也可以使用hive 读取ES 里面的数据，下面我们就看一下如何实现，其实我们依赖的还是EsStorageHandler，这是elasticsearch官方给我们提供的这样一个依赖。 添加相关以来jar包 add jar /tmp/elasticsearch-hadoop-7.8.1/dist/elasticsearch-hadoop-7.8.1.jar; 其实这个时候如果你遇到下面的包找不到问题 Err
（10）实时数仓ElasticSearch
song_quan_的博客
07-19 724
ElasticSearch 基础 1 简介 Elasticsearch 是一个高度可伸缩的开源全文搜索引擎。Elasticsearch 让你可以快速、 实时地存储、搜索和分析大量数据，它通常作为互联网应用的内部搜索引擎，为需要复杂搜 索功能的应用提供支持。 ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的 全文搜索引擎，基于 RESTful web 接口。Elasticsearch 是用 Java 开发的，并作为 Apache 许
离线和实时数仓技术架构梳理
Daphnis的博客
03-02 3497
对目前流行的离线数仓和实时数仓架构进行了梳理和对比
数据存储方案选择：ES、HBase、Redis、MySQL与MongoDB的应用场景分析
东境物语
07-03 3987
本文旨在探讨ES、HBase、Redis、MySQL和MongoDB这五种技术的核心特性和优势，通过分析它们在不同应用场景下的表现，为技术选型提供指导和建议。
ES复杂类型数据同步到HIVE数仓
欲望以提升热忱 毅力以磨平高山
06-29 1443
有很多种情况下需要将ES的数据同步到hive数仓中进行分析，在此记录下在此过程中遇到的问题。 1、环境说明 ES Version: 7.2.1 Hadoop Version: 3.0.0 elasticsearch-hadoop-7.2.1.jar 2、ES的数据示例 "time" : "2020-06-28T00:24:55+0800", "documentId" : "d458d964-1b92-45da-8aff-0ae57331310d", "les
ES如何在不同场景下构建数据仓库
weixin_33951761的博客
07-02 1578
内容来源：2017 年 11 月 25 日，数说故事平台架构团队高级工程师吴文杰在“Elastic Meetup 广州交流会”进行《Data Warehouse with ElasticSearch in Datastory》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。阅读字数：3141 | 8分钟阅读嘉宾演讲视频及PPT：t.cn/Rr...
MySQL如何实时同步数据到ES？试试这款阿里开源的神器！
weixin_42907150的博客
03-12 1360
mall项目中的商品搜索功能，一直都没有做实时数据同步。最近发现阿里巴巴开源的canal可以把MySQL中的数据实时同步到Elasticsearch中，能很好地解决数据同步问题。今天我们来讲讲canal的使用，希望对大家有所帮助！canal主要用途是对MySQL数据库增量日志进行解析，提供增量数据的订阅和消费，简单说就是可以对MySQL的增量数据进行实时同步，支持同步到MySQL、Elasticsearch、HBase等数据存储中去。
数仓-集群环境搭建
汪云辉的博客
09-07 1097
集群环境搭建 1-数据仓库DW 数据来源： 　　爬虫 日志采集系统 业务数据 财务系统 数据去向： 　　报表系统、用户画像、推荐系统、机器学习、风控系统　 项目需求分析 　　① 数据采集平台搭建 　　② 实现用户行为数据仓库的分层搭建 　　③ 实现业务数据仓库的分层搭建 　　④ 针对数据仓库中的数据进行，留存、转化率、GMV（每天交易额）、复购率、活跃等报表行为； 　　 项目框架 技术选型　 ...
基于 Flink 的典型 ETL 场景实现-实时数仓篇.pdf
06-19
Flink 提供了多种数据存储系统的连接器，如HDFS、HBase、Cassandra、Elasticsearch等，使得数据可以直接写入这些系统中。同时，Flink 也支持将结果写入批处理系统，如Hadoop的Hive，构建实时与离线数据仓库的统一...
基于 Flink 的实时数仓建设实践.pdf
06-19
美团调研了多种存储解决方案，包括 MySQL、Elasticsearch、Druid 和 Cellar。每种解决方案都有其优缺，需要根据不同的业务场景选择合适的存储解决方案。在实时数仓各个模型层次中，存储解决方案的选择如下： * 数据...
大数据 实时数仓项目实现实时计算
04-10
│ 2、离线+实时框架.wmv │ 3、模拟数据发送.wmv ├─第一天下午 │ 2、es介绍.wmv │ 3、几种数据库的比较.wmv │ 4、特性与索引.wmv │ 5、安装es.wmv ├─第二天下午 │ 1、kibana安装.wmv │ 2、 es...
实时数仓：实时数仓3.0的演进之路
GIS摆渡人
08-30 992
数据处理现状：当前基于Hive的离线数据仓库已经非常成熟，数据中台体系也基本上是围绕离线数仓进行建设。但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设......
从 Spark 离线数仓到 Flink 实时数仓：实战指南
最新发布
大模型大数据攻城狮的专栏
07-04 553
咱先唠唠为啥要搞这个转变。在数据处理这旮旯，离线数仓和实时数仓那可太不一样了。离线数仓就像老牛拉车，处理数据得等一阵子，适合那种对时效要求不高，但得深挖数据找规律的事儿。比如说，你想分析历史数据，看看趋势啥的，离线数仓就挺管用。可实时数仓就不一样了，它就像火箭，数据一来立马就能处理，能给你实时的分析结果。要是你需要快速响应数据变化，比如搞个实时监控、实时推荐啥的，实时数仓就贼好使。反正就是，各有各的好，得看你具体干啥用。（一）数据处理架构。
实时数仓-Doris ON ES
test_test111的专栏
11-22 5107
原理介绍 Doris通过创建外部表方式将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案，支持： ES中的多index分布式Join查询 Doris和ES中的表联合查询，更复杂的全文检索过滤 创建ES外表后，FE会请求建表指定的主机，获取所有节点的HTTP端口信息以及index的shard分布信息等，如果请求失败会顺序遍历host列表直至成功或完全失败。 执行查询时，会根据FE得到的...
数据仓库指南 (转)
csd3176的博客
12-09 239
数据仓库指南 (转)[@more@] 数据仓库学习心得XML:namespace prefix = o ns = "urn:schemas-microsoft-com:Office:office" /> 一．概念 ...
数据仓库建模
myProgrames的博客
08-13 499
http://blog.csdn.net/jbfsdzpp/article/details/47359739?ref=myread
Elasticsearch的数据库与数据仓库整合
程序员光剑
01-18 945
1.背景介绍 Elasticsearch是一个开源的搜索和分析引擎，基于Lucene库，具有实时搜索、文本分析、数据聚合等功能。在大数据时代，Elasticsearch在数据库和数据仓库领域得到了广泛的应用。本文将从以下几个方面进行讨论： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和详细解释说明 未来发展趋势与挑战 附录常见问题与解答 1....
Elasticsearch的数据库与数据仓库
程序员光剑
01-25 777
1.背景介绍 1. 背景介绍 Elasticsearch是一个开源的搜索和分析引擎，基于Lucene库开发。它可以用于实时搜索、日志分析、数据可视化等应用场景。Elasticsearch的核心概念包括文档、索引、类型、映射、查询等。在本文中，我们将深入探讨Elasticsearch的数据库与数据仓库特点，以及如何在实际应用中进行最佳实践。 2. 核心概念与联系 2.1 文档 在Elast...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值