ELK
Cheese海盐芝士
Cheese海盐芝士
AI狂热玩家 | 6年大数据技术
专为小白而生 | 专注打造全网最容易上手的AI实战教程
内容矩阵:AI实战教程(ChatGPT)|AI绘画教程(SD) | AI情报快讯 | 提效工具库
希望海盐的分享,可以让普通人在AIGC时代,不再旁观,动手实操无卡点~
展开
-
ELK合集持续更新(二十二):Elasticsearch集群的数据备份和迁移
Elasticsearch集群的数据备份和迁移 – snapshot快照背景 :docker版的ES7集群 (集群搭建 见文章 ELK合集持续更新(十五):ELK所有部署与集成)已安装KibanaES数据备份到HDFS文件系统 (默认 已有现成的HDFS可用)再从HDFS恢复数据到任一ES7集群 (当前的集群 和跨集群 分别演示)snapshot概述snapshot 可以将...原创 2020-03-25 18:07:54 · 1128 阅读 · 0 评论 -
ELK合集持续更新(二十一):Python操作Elasticsearch
Python操作Elasticsearch周末更新原创 2020-03-25 11:04:35 · 360 阅读 · 2 评论 -
ELK合集持续更新(二十):Kibana的使用之开发工具按钮
kibana页面左侧栏的dev_tools按钮ES的restful API原创 2020-03-25 11:02:20 · 265 阅读 · 0 评论 -
ELK合集(十九):Kibana的使用之管理工具按钮 持续更新
Kibana的使用ES分布式集群 集成kibana 的部署 见 ELK合集持续更新(十五):ELK所有部署与集成原创 2020-03-23 15:08:53 · 182 阅读 · 0 评论 -
ELK合集(十八):Logstash的使用 持续更新
Logstash的使用背景 :logstash节点 10.255.175.240logstash安装目录 /opt/software/centos_logstash7_dirES集成logstash 见 ELK合集持续更新(十五):ELK所有部署与集成logstash读取kafka的数据用logstash读取Kafka数据从头消费重启logstash 默认会从上次消费的kafk...原创 2020-03-23 13:02:30 · 133 阅读 · 0 评论 -
ELK合集(十七):ES的RestfulAPI概述 持续更新
ES的RestfulAPI概述使用方式方式一 kibana界面操作get请求在kibana中使用# 语法示例GET /索引名/_search?q=查询条件&df=查询字段&sort排序字段:desc&from=0&size=10&timeout=1s"post请求在kibana中使用POST /索引名/_search?ignore_u...原创 2020-03-22 22:12:44 · 196 阅读 · 0 评论 -
ELK合集(十六):ELK命令行和http查询常用命令 持续更新
ELK常用命令ES常用命令操作插件查看已安装插件$ ./bin/elasticsearch-plugin list安装插件$ ./bin/elasticsearch-plugin install analysis-icu示例0 : 安装内置插件 – ICU分词插件测试环境docker版es集群 3个节点安装步骤进入docker容器es7_01$ dock...原创 2020-03-22 21:42:34 · 347 阅读 · 0 评论 -
ELK合集(十五):ELK所有部署与集成 持续更新
本文内容大纲 : ES单机部署ES单机集群部署 : Elasticsearch一个节点部署2个ES的docker容器ES分布式集群部署 + kibana + cerebro : 用docker-compose进行部署ES分布式集群 集成X-PACK安全认证kibana配置X-PACK安全认证logstash配置X-PACK安全认证原创 2020-03-22 19:48:21 · 934 阅读 · 0 评论 -
ELK合集(十四):Elasticsearch关键术语之Aggregation聚合 持续更新
Aggregation聚合概念通过一条语句 从ES分析总结全套数据 得到统计分析的结果 聚合属于Search优点高性能高实时性应用场景举例如 尖沙咀和香港岛的客房数量如 不同的价格区间 可预定的经济型酒店和五星级酒店的数量如 公司程序员的薪水分布如 Kibana的可视化报表语法size最好指定为0分类Bucket aggs 分桶聚合作用将文档分组 ...原创 2020-03-22 16:28:34 · 441 阅读 · 0 评论 -
ELK合集(十三):Elasticsearch关键术语之Analysis分词 持续更新
Analysis分词概念把Text数据类型 转换为一系列单词 也叫文本分析(term or token)Analyzer 分词器概念实现分词的组件本质一个分词器 由3类功能模块组成 每类功能模块的具体功能可配置多个 ; 内置分词器的 每类功能模块的每个功能可设置开启或关闭 ; 自定义分词器 可自配置每类功能模块的多个功能 形成自定义分词器组成char_filter字符过滤器...原创 2020-03-22 16:11:27 · 311 阅读 · 0 评论 -
ELK合集(十二):Elasticsearch关键术语之分布式搜索 持续更新
分布式搜索分布式搜索的运行机制第一阶段 Query例如 3个节点的es集群有3个主分片 1个副本 节点收到请求后 会以coordinating node的身份 在6个主副分片中随机选择3个分片 发送查询请求被选中的分片执行查询 进行排序 然后每个分片都会返回from+size个排序后的文档id和排序值 给coordinating节点第二阶段 Fetchcoordinating n...原创 2020-03-22 13:53:40 · 154 阅读 · 0 评论 -
ELK合集(十一):Elasticsearch关键术语之排序 持续更新
排序ES搜索结果的排序 默认是按照文档的_score相关性算分 算分高的文档优先展示 搜索时可以指定根据某字段进行排序 (类似 SQL的order by)本质排序是针对原始内容进行的 倒排索引无法发挥作用需要用到正排索引 通过文档ID和字段快速得到字段原始内容实现排序的两种方式方式一 设置"doc_values":true 默认本质DocValues在索引时 和倒排...原创 2020-03-22 13:37:51 · 559 阅读 · 0 评论 -
ELK合集(十):Elasticsearch关键术语之倒排索引 持续更新
倒排索引正排索引 & 倒排索引正排索引根据 文档ID 查询 文档内容倒排索引根据 文档关键字 查询文档ID 关键字出现处的偏移量 词频作用每个field字段都有自己的倒排索引 可被搜索到特性 – 不可变性优点无需考虑并发写文件问题 避免了锁机制带来的性能问题一旦读入内核的文件系统缓存 便留在那里 只要文件系统有足够的空间 大部分请求会直接走内存 不命...原创 2020-03-21 19:46:30 · 237 阅读 · 0 评论 -
ELK合集(九):Elasticsearch关键术语之Shard分片 持续更新
Shard 分片分类primary shard 主分片作用通过主分片 将数据分布到集群的所有节点 – 效果 : 数据水平扩展本质一个主分片是一个运行的Lucene实例配置主分片数默认ES7.0前一个索引 主分片5 副本17.0及以后主分片1 副本1 – 效果 : 解决over-sharding问题配置时机创建索引时预先指定 (后续不允许修...原创 2020-03-21 16:51:42 · 310 阅读 · 0 评论 -
ELK合集(八):Elasticsearch关键术语之Node节点 持续更新
Node节点概念一台服务器(一台机器也可运行多个ES进程 但生产环境只运行一个ES实例)携带数据每个节点都保存了集群状态Cluster State本质一个Java进程节点名作用唯一标识默认启动时随机给一个漫威漫画角色名设置方式一 ES配置文件elasticsearch.yml方式二 命令参数-E node.name=node1UID作用唯一标识生命...原创 2020-03-21 16:20:17 · 426 阅读 · 0 评论 -
ELK合集(七):Elasticsearch关键术语之Field字段 持续更新
Field字段数据类型简单类型text概念一段文本 全文本 是非结构化的文本数据 ; 数组类型[]在ES属于Text类型作用索引时 分词 (如果想精确匹配 可在mapping时将text类型设置为keyword类型 keyword不会做分词处理 用字段名.keyword搜索可精确匹配)keyword概念包括 数字 日期 一个具体的字符串...原创 2020-03-21 15:06:22 · 1105 阅读 · 0 评论 -
ELK合集(六):Elasticsearch关键术语之Document文档 持续更新
Document文档概念一条数据 是可搜索的最小单位数据形态JSON格式 支持数组 支持嵌套JSON对象由Field字段组成每个字段都有字段类型 (可先指定 或 ES自动推算)拥有的元数据_id文档唯一ID(可自己指定 或ES自动生成)_index文档的index索引名_type文档的type类型名 (ES7 都是_doc)_sourc...原创 2020-03-21 14:53:27 · 176 阅读 · 0 评论 -
ELK合集(五):Elasticsearch关键术语之Type类型 持续更新
Type类型概念一个Index的分区/分类 一个Index可以设置多个type版本ES7.0之前一个Index可设置多个typeES7.0及以后一个Index只能创建一个type type名约定用_doc参考阮一名资料官方文档百度...原创 2020-03-21 14:21:46 · 358 阅读 · 0 评论 -
ELK合集(四):Elasticsearch关键术语之Index索引 持续更新
这个章节涉及到的相关概念 使用和配置等 会持续更新Index索引概念名词 就是一个表 存了一类文档从数据库的角度 ES的一个index索引就是一个表 (数据库常说 查一下这个表的数据 ES叫做查一下这个index索引的数据)其他含义名词一个Btree索引 一个倒排索引 也叫索引动词给ES数据库插入一条Document文档数据的过程 也叫索引创建一个倒排索引的过程 也叫...原创 2020-03-21 14:17:09 · 1241 阅读 · 0 评论 -
ELK合集(三):Elasticsearch关键术语之Cluster集群 持续更新
这个章节涉及到的相关概念 使用和配置等 会持续更新Cluster集群概念一个数据库 分布在多个服务器节点上 存了多个表使用者感知不到节点的存在 用起来就是一个整体集群名默认elasticsearch作用用于区分集群 (网络畅通情况下 一个节点 只能通过指定集群名 来加入这个集群)修改方式一 ES配置文件方式二 启动命令的参数-E cluster.n...原创 2020-03-20 20:49:56 · 146 阅读 · 0 评论 -
ELK合集(二):ELK生态圈简介 持续更新
ELK生态圈成员成员图成员简介Elasticsearch – 面向文档型数据库ES类比关系数据库关键术语对比RDBMSElasticsearchTableIndex(Type)RowDocumentColumnFieldSchemaMappingSQLDSL区别RDBMSElasticsearch...原创 2020-03-17 21:51:22 · 426 阅读 · 0 评论 -
ELK合集(一):Elasticsearch概述 持续更新
Elastic Inc - 上市公司市场反应2010年 第一次发布 2012年成立公司成立6个月 160万次下载 首轮募到1000万美金风险投资当前市值超过50亿美金 开盘当天涨幅94%发展2015.3月 收购Elastic Cloud 提供Cloud服务2015.3月 收购PacketBeat2016.9月 收购PreAlert - Machine Learning异常检测...原创 2020-03-17 21:07:03 · 291 阅读 · 0 评论