8.1 ElasticSearch & Kibana

最新推荐文章于 2023-10-26 23:04:04 发布
最新推荐文章于 2023-10-26 23:04:04 发布
阅读量226 收藏
点赞数
分类专栏： BigData - framework
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/digua930126/article/details/103534027
版权

搜索模式

SQL模式

1,zhangsan,yuwen,98
2,lisi,yuwen,92
	select * from user where name like '%l%';
	select * from user where name like '%l%' and name like '%s%' ;

-缺点：
	-需要将数据从头至尾遍历一遍
	-我们的数据量在一直增加

倒排索引

倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted file)。

-文本
	-我是中国人 （我 是 我是 中国 中国人）
	-2，我是中华人民共和国公民
	-... (1000万)
	-1003，中国领土的主权不容侵犯
	-1004，台湾国中生生活节奏很懒散
	-1005，中国人民正在实现中国梦
	
-古诗
七月在野，八月在宇，九月在户，十月蟋蟀入我床下。 先秦 《诗经·七月》
小时不识月，呼作白玉盘。——《古朗月行》李白。
烽火连三月，家书抵万金。——《春望》杜甫。

-更换数据的存储模式
	-中国 1[2] 1003[0] 1005[0] 1005[8]
	-月 1[2] 1[6] 1[10] 1[14] 1[24] 2[4] 2[13] 3[4]

https://developer.51cto.com/art/201904/594615.html



ElasticSearch概念

  • 实时的数据搜索分析框架，使用restful风格

  • 与Lucene和Solr的关系
    es和solr都基于lucene

  • 与关系型数据库的对比
    查询的时候从上到下查询，查询下面的就需要提供上面的

关系型ES
数据库 DataBaseIndex
表 TableType
行 RowDocument
列 ColumnField

只是大小包含关系类似



搭建流程

上传解压移动

--解压:
tar -zxf elasticsearch-2.4.5.tar.gz 

--移动:
mv elasticsearch-2.4.5 /opt/sxt/

配置文件:

--进入配置目录:
cd /opt/sxt/elasticsearch-2.4.5/config

修改配置文件
vim elasticsearch.yml

配置文件示例:

cluster.name: shsxt
node.name: node-bd1301
network.host: 192.168.241.211

上面对应行数 17 23 54

下面的代码添加到配置文件最后:

discovery.zen.ping.multicast.enabled: false
discovery.zen.ping_timeout: 120s
client.transport.ping_timeout: 60s
discovery.zen.ping.unicast.hosts: ["192.168.241.211","192.168.241.212", "192.168.241.213"]

在这里插入图片描述

--拷贝elasticsearch-2.4.5到其他主机并修改配置信息
scp -r elasticsearch-2.4.5 root@bd1302:/opt/sxt/
scp -r elasticsearch-2.4.5 root@bd1303:/opt/sxt/

--修改对应的name.node和network.host

创建用户&修改权限:

--3个主机创建新用户专门管理ES
--3台主机创建用户es 及密码
useradd es 
passwd es

--设置文件的权限（修改文件所属）
cd /opt/sxt/
chown -R es:es elasticsearch-2.4.5

--切换用户
su es

--3台主机启动集群
./elasticsearch

在这里插入图片描述
一些可能出现的错误提示:

don’t run elasticsearch as root(忘记切换用户)
Log4j (没有为文件夹设置es用户权限)
访问集群
RestFul



数据库操作CRUD

restful

-URL可以唯一定位到一个资源
-我们使用固定的词去访问URL,我们得到的效果是不同的
-curl -X(GET获取 POST创建替换追加 PUT创建替换 DELETE删除)
-可以很好的屏蔽语言的差异

Index的操作

-创建是命名全部小写，不能使用_开头，中间不能使用,
-创建Index
	curl -XPUT http://192.168.241.211:9200/xxxxx/
-获取索引
	curl -XGET http://192.168.241.211:9200/xxxxx/
-删除索引
	curl -XDELETE http://192.168.241.211:9200/xxxxx/

Document的操作

-创建type和插入数据（Post）
	-每次操作得到的效果有可能是不同的

curl -XPOST http://192.168.241.211:9200/xxxxx/emp -d '{
"first_name" : "john",
"last_name" : "smith",
"age" : 25,
"about" : "I love to go rock climbing"
}'

curl -XPOST http://192.168.241.211:9200/xxxxx/emp -d '{
"first_name" : "zhang",
"last_name" : "san",
"age" : 18,
"about" : "pretty"
}'

curl -XPOST http://192.168.241.211:9200/xxxxx/emp -d '{
"first_name" : "li",
"last_name" : "si",
"age" : 18,
"about" : "pretty2"
}'

创建type和插入数据（put）
	一般put操作为幂等操作，每次执行效果都是一样的

curl -XPUT http://192.168.241.212:9200/xxxxx/emp/1 -d '{
"first_name" : "wang",
"last_name" : "wu",
"age" : 50,
"about" : "handsome",
"address": "shanghai"
}'

-查看数据

//查询index
curl -XGET http://192.168.241.211:9200/xxxxx/_search
//查询type
curl -XGET http://192.168.241.211:9200/xxxxx/emp/_search
//按照ID查询文档
curl -XGET http://192.168.241.211:9200/xxxxx/emp/1
//查询指定的列
curl -XGET http://192.168.241.211:9200/xxxxx/emp/AW799O_-HSjlOiL4J82L?_source=age
curl -XGET http://192.168.241.211:9200/xxxxx/emp/_search?_source=age
//按照条件查询
curl -XGET http://192.168.241.211:9200/xxxxx/emp/_search?q=age:18

-修改数据

-------------------直接替换---------------------------------
curl -XPUT http://192.168.241.212:9200/xxxxx/test/1 -d '{
"hello":"world"
}'
curl -XPUT http://192.168.241.212:9200/xxxxx/test/1 -d '{
"hello":"moto"
}'

curl -XGET http://192.168.241.211:9200/xxxxx/test/_search?pretty

--------------------局部替换---------------------------------
curl -XPOST http://192.168.241.213:9200/xxxxx/stu/1 -d '{
"uname":"jiangyue",
"age":18
}'

curl -XPOST http://192.168.241.213:9200/xxxxx/stu/1/_update -d '{
"doc":{"uname":"zyn","city":"beijing"}
}'

curl -XGET http://192.168.241.212:9200/xxxxx/stu/1?pretty 

-删除数据

curl -XDELETE http://192.168.241.212:9200/xxxxx/dept/2 

curl -XGET http://192.168.241.212:9200/xxxxx/dept/_search

-DSL语言

//查询语句
curl -XGET http://192.168.241.211:9200/xxxxx/emp/_search?pretty -d '{
"query":
{"match":{"age":"18"}}
}'


Elasticsearch的插件配置

插件head

--进入bin目录
cd /opt/sxt/elasticsearch-2.4.5/bin

--安装3个主机的head插件命令
./plugin install file:/root/elasticsearch-head-master.zip
--在es的bin目录中执行plugin

插件license

--安装3个主机的license插件命令
./plugin install file:/root/license-2.4.5.zip

--在es的bin目录中执行plugin

插件Marvel-agent

--安装3个主机的Marvel-agent插件命令
./plugin install file:/root/marvel-agent-2.4.5.zip

--在es的bin目录中执行plugin

3种插件完成安装示意图:

在这里插入图片描述
修改3个插件的所属权限(直接修改整个目录)

--语法:
chown -R es:es elasticsearch-2.4.5/

修改后示意图:
在这里插入图片描述



Kibana

  • ELK技术栈都属于Elastic公司
    Elasticsearch + Logstash + Kibana
  • 给运维人员使用的工具，时刻监控es集群的状态

安装 Kibana(配置1台即可)

--解压tar包:
tar -zxvf kibana-4.6.2-linux-x86_64.tar.gz

--移动
mv kibana-4.6.2-linux-x86_64 /opt/sxt/

在安装目录中修改目录名
mv kibana-4.6.2-linux-x86_64/ kibana-4.6.2

安装 Kibana的marvel插件

--进入bin目录
cd /opt/sxt/kibana-4.6.2/bin/

--(本地 建议)
./kibana plugin --install marvel --url file:///root/marvel-2.4.6.tar.gz

--(网络 不推荐)安装kibana的marvel插件
./kibana plugin --install elasticsearch/marvel/latest

--修改配置文件
vim /opt/sxt/kibana-4.6.2/config/kibana.yml

修改示意图:
在这里插入图片描述
修改成任一主机地址都可以



启动es和kibana

启动3台es

--进入kibana的bin目录
cd /opt/sxt/elasticsearch-2.4.5/bin/ 

--切换用户
su es

--进入elasticsearch的bin目录后启动es
./elasticsearch

bd1301:9200
bd1301:9200/_plugin/head/

启动1台kibana

另开一个主机1用来开启kibana

--进入kibana的bin目录后启动kibana
cd /opt/sxt/kibana-4.6.2/bin/
./kibana

bd1301:5601

BF-LoneSilverWind
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch8.X入门实战（四）Kibana8.1安装
大数据实战派
12-27 1354
Kibana是一个开源的分析与可视化平台，用于和Elasticsearch一起使用。我们可以用Kibana搜索、查看、交互存放在Elasticsearch索引里的数据，并使用各种不同的图表、表格、地图等进行可视化查看。
ES&Kibana7.9.zip
08-20
Elasticsearch和Kibana是两个非常重要的开源工具，它们在大数据分析和日志管理领域发挥着关键作用。Elasticsearch是一种分布式、RESTful风格的搜索和数据分析引擎，而Kibana则是一款数据可视化工具，它能够将Elastic...
【Kibana8.1部署】
daiwenshuai的博客
08-03 536
kibana部署
Kibana：Mosaic 可视化介绍 - Elastic Stack 8.1
Elastic 中国社区官方博客
03-14 630
在最新的 Elastic Stack 8.0 中，我们发现有一个新的 Mosaic 可视化。它是一个用来表示占比的一种好方法。在今天的文章中，我来做一个展示。 准备数据 我们可以使用 Kibana 自带的数据来进行展示： 这样一个叫做kibana_sample_data_logs 的索引就被生成了。 创建 Mosaic 可视化 从上面的图中，我们可以看出来各个 host 所访问的文档的百分比情况。我们接下来想知道每个 host 里的 respons...
Kibana：Waffle 可视化介绍 - Elastic Stack 8.1
Elastic 中国社区官方博客
03-14 984
在最新的 Elastic Stack 8.0 中，我们发现有一个新的 Waffle可视化。它是一个用来表示占比的一种好方法。在今天的文章中，我来做一个展示。 准备数据 我们可以使用 Kibana 自带的数据来进行展示： 这样一个叫做kibana_sample_data_logs 的索引就被生成了。 创建 Waffle 可视化 从上面的图中，我们可以看出来 response 的分布情况： 值得注意的是：这个功能目前还是处于 Technical...
8.1- ElasticSearch
apriaaaa的博客
03-28 422
转载来自-ES版权声明：本文为博主原创文章，未经博主允许不得转载。转载请务必加上原作者：铭毅天下，原文地址：blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/52244917ES使用文档https://es.xiaoleilu.com/010_Intro/20_Do...
es&&kibana异常.docx
09-20
Elasticsearch && Kibana 异常处理指南 Elasticsearch 是一个基于 Lucene 库的搜索和数据分析引擎，而 Kibana 是一个数据可视化平台，通常与 Elasticsearch 结合使用，以提供一个完整的数据分析解决方案。然而，在...
Docker中安装Elasticsearch&Kibana
01-07
安装之前先 百度 查看 ElasticSearch 和 Kibana 的对应关系，如果版本不对应可能会出现问题。 1、这里我安装 ElasticSearch:7.2.0 和 Kibana:7.2.0。 $ docker pull elasticsearch:7.2.0 敲完命令以后回车，等待...
elasticsearch-6.2.4&kibana-6.2.4.zip
08-13
elasticsearch-6.2.4版本，包含ik分词。kibana-6.2.4-windows-x86_64。
filebeat+elasticSearch+kibana 学习体会
07-31
就是学习这三个的一些心得体会，适合初学者，适合给他人讲解使用！
最新版windows kibana-8.1.0-windows-x86_64.zip
03-10
最新版windows kibana-8.1.0-windows-x86_64.zip
Elastic认证考试大纲（8.1版本）全方位分析（难度、考试频率、得分指数、综合分析等）
Elastic开源社区
10-15 1282
- 本文包含的考点**题型难度、考试频率、得分指数** 以及 **版本总结** 等信息均出自于对 **社区百余位认证工程师** 的考试复盘总结和归纳，信息均在文末为大家提供！ - 本文提供的考试大纲为官方考纲汉化版（汉化版和开源社区整合版（推荐）
Kibana基本使用
热门推荐
ming_311的专栏
02-01 20万+
1. 定义你的索引模式匹配 2. 数据可视化：不只是发现数据 3.
Kibana（Linux 平台部署）
weixin_44352521的博客
03-25 3344
## kibana 可以理解为是一个 es 的可视化工具，所以安装 kibana 之前需要先安装 es，es 安装详见： 源码部署 docker部署 获取源码包 [root@localhost ~]# wget https://artifacts.elastic.co/downloads/kibana/kibana-8.1.1-linux-x86_64.tar.gz ## 解压至指定目录 [root@localhost ~]# tar zxf kibana-8.1.1-linux-x86_64.t
ElasticSearch(ES)8.1及Kibana在docker环境下如何安装
最新发布
天河书阁 - VicRestart
10-26 980
Elasticsearch（简称ES）是一个开源的分布式搜索和分析引擎，最初由Elastic公司创建。它属于Elastic Stack（ELK Stack）的核心组件之一，用于实时地存储、检索和分析大量数据。Kibana是一个用于数据可视化和管理的开源工具，主要用于与Elasticsearch协同工作。它是Elastic公司ELK堆栈（Elasticsearch、Logstash、Kibana）的一部分，旨在帮助用户轻松地搜索、分析和可视化大规模数据集。
Elasticsearch-8.1.0安装部署+kibana-8.1.0的数据导入
子枫
05-07 976
文章目录前言一、ArcGis Pro数据处理二、PostGIS数据拓扑分析二、SpringBoot集成PostgreSQL1.引入库2.读入数据总结 前言 本文主要是用ArcGis Pro处理数据，然后使用PostGIS进行数据拓扑分析，再用SpringBoot集成PostgreSQL来实现路径分析功能。 一、ArcGis Pro数据处理 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、PostGIS数据拓扑分析 二、SpringBoot集成PostgreS
Kibana的安装和基本使用
qq_32108357的博客
03-23 707
安装： 1. 下载Kibana https://www.elastic.co/downloads/kibana 2. 安装下载的kibana rpm -ivh kibana-6.2.4-x86_64.rpm 3. 查找kibana的安装位置 find / -name kibana 4. 编辑kibana配置文件 [root@localhost /]# vim /etc/kib...
docker安装kibana7.8.1(Elasticsearch可视化)
flyq_coffee
07-29 459
查看可用kibana版本 docker官网查看kibana镜像地址及版本信息： https://hub.docker.com/_/kibana?tab=tags 拉取 kibana 镜像 docker pull kibana:7.8.1 查看本地镜像 docker images 运行容器 方式一：直接配置es地址启动(测试时发现启动后无法访问kibana) docker run --name kibana -e ELASTICSEARCH_HOSTS=http://192.168.0.130:920
Elasticsearch集成kibana
05-10
Elasticsearch和Kibana是一对非常强大的组合，可用于实现搜索、可视化和分析等数据操作。要将它们集成在一起，可以按照以下步骤进行操作： 1. 安装Elasticsearch：可以从Elasticsearch官方网站下载安装包，并按照...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值