hydd的Linux笔记Day76

最新推荐文章于 2024-07-25 22:13:53 发布
最新推荐文章于 2024-07-25 22:13:53 发布
阅读量340 收藏
点赞数
文章标签： 分布式 elasticsearch linux centos 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hegusailuo/article/details/111505915
版权

Day76

ELK日志分析平台

ELK概述

ELK是什么

ELK分别代表

​ Elasticsearch：负责日志检索和存储

​ Logstash：日志收集和分析、处理

​ Kibana：负责日志可视化

​ ELK是一整套的解决的方案，是上面三个软件的组成的，三款都是开源软件，互相配合。

ELK是做什么的？

ELK组件在海量日志系统的运维中可以用于解决

​ 分布式日志数据集中式的查询和管理

​ 系统监控，包含系统硬件和应用各个组件的监控

​ 故障排查

​ 安全信息和事件管理

​ 报表功能

Elasticsearch概述

Elasticsearch是什么

ElasticSearch是基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文索索引擎，基于RESTfulAPI的Web接口

Elasticsearch 是用于Java开发的，使用Apache许可条款的开源软件，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到试试搜索，稳定可靠快速安装使用方便

Elasticsearch特点

主要特点

​ 实时分析

​ 分布式实施文件存储，并将每一个字段都编入索引

​ 文档导向，所有的对象全部都是文档

​ 高可用，易扩展，并支持集群，分片和复制

​ 接口友好，支持JSON

Elastcsearch缺点

Elasticsearch没有典型意义的事务

Elasticsearch是一种面向文档的数据库

Elasticsarch没有提供授权和认证特性

相关概念

Node： 装有一个ES服务器的节点

Cluster： 有Node组成的集群

Document： 一个被搜索的基础信息单元

index： 拥有相似特征的文档集合

Type： 一个索引中可以定义一种或多种类型

Filed： 是ES的最小单位，相当于数据的某一列

Shards; 索引的分片，每一个分片就是一个Shard

Replicas： 索引的拷贝

img

Elasticsearch 安装
在跳板机上配置 yum 仓库

拷贝云盘 rpm-package/elk 目录到跳板机

[root@ecs-proxy ~]# cp -a elk /var/ftp/localrepo/elk
[root@ecs-proxy elk]# cd /var/ftp/localrepo/
[root@ecs-proxy localrepo]# createrepo --update .
购买云主机
主机IP地址配置
es-0001192.168.1.41最低配置1核1G
es-0002192.168.1.42最低配置1核1G
es-0003192.168.1.43最低配置1核1G
es-0004192.168.1.44最低配置1核1G
es-0005192.168.1.45最低配置1核1G
单机安装
[root@es-0001 ~]# vim /etc/hosts
192.168.1.41	es-0001
[root@es-0001 ~]# yum install -y java-1.8.0-openjdk elasticsearch
[root@es-0001 ~]# vim /etc/elasticsearch/elasticsearch.yml
54：  network.host: 0.0.0.0
[root@es-0001 ~]# systemctl enable --now elasticsearch
[root@es-0001 ~]# curl http://192.168.1.41:9200/
{
  "name" : "War Eagle",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.3.4",
    "build_hash" : "e455fd0c13dceca8dbbdbb1665d068ae55dabe3f",
    "build_timestamp" : "2016-06-30T11:24:31Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.0"
  },
  "tagline" : "You Know, for Search"
}
集群安装

es-0001 … es-0005 所有主机，都要执行以下操作

[root@es-0001 ~]# vim /etc/hosts
192.168.1.41	es-0001
192.168.1.42	es-0002
192.168.1.43	es-0003
192.168.1.44	es-0004
192.168.1.45	es-0005
[root@es-0001 ~]# yum install -y java-1.8.0-openjdk elasticsearch
[root@es-0001 ~]# vim /etc/elasticsearch/elasticsearch.yml
17：  cluster.name: my-es
23：  node.name: es-0001 # 本机主机名
54：  network.host: 0.0.0.0
68：  discovery.zen.ping.unicast.hosts: ["es-0001", "es-0002", "es-0003"]
[root@es-0001 ~]# systemctl enable --now elasticsearch
[root@es-0001 ~]# curl http://192.168.1.41:9200/_cluster/health?pretty
{
  "cluster_name" : "my-es",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 5,
  "number_of_data_nodes" : 5,
   ... ...
}

Elasticsearch插件

插件介绍

kopf插件

​ 是一个ElasticSearch的管理工具

​ 它提供了对ES集群操作的API

bigdesk插件

​ 是elastticsearch的一个集群监控工具、

​ 可以通过它来查看es集群的各种状态，如cpu、内存使用情况，索引数据、搜索情况，http；连接数等。

head插件

它展现了ES集群的拓扑结构，并且可以通过它来进行索引和节点级别的操作。

它提供一组针对集群的查询API，并将结果以json和表格形式返回，它提供一些快捷菜单，用以展现集群的各种状态。

插件安装

拷贝云盘 public/elk 目录到跳板机

# 本地安装，拷贝 bigdesk 插件文件到 es-0005
[root@es-0005 ~]# /usr/share/elasticsearch/bin/plugin install file:///root/bigdesk-master.zip 
[root@es-0005 ~]# /usr/share/elasticsearch/bin/plugin list
Installed plugins in /usr/share/elasticsearch/plugins:
    - bigdesk
# 远程安装，把插件拷贝到跳板机的ftp目录下
[root@es-0005 ~]# /usr/share/elasticsearch/bin/plugin install ftp://192.168.1.252/public/elk/elasticsearch-kopf-master.zip
[root@es-0005 ~]# /usr/share/elasticsearch/bin/plugin install ftp://192.168.1.252/public/elk/elasticsearch-head-master.zip
[root@es-0005 ~]# /usr/share/elasticsearch/bin/plugin list
Installed plugins in /usr/share/elasticsearch/plugins:
    - head
    - bigdesk
    - kopf

访问插件：

1、华为云绑定弹性公网IP给 es-0005 节点

2、http://弹性公网IP:9200/_plugin/插件名称 [bigdesk|head|kopf]

http://公网IP:9200/_plugin/kopf

img

http://公网IP:9200/_plugin/head

img

http://公网IP:9200/_plugin/bigdesk

img

Elasticsearch基本操作

HTTP协议

Elasticsearch时用http协议访问

http请求由三部分组成

​ 分别是：请求行、消息报头、请求正文

​ 请求行：Method Request-URL HTTP-Version CRLF

http请求方法

​ 常用方法： GET，POST，HEAD

​ 其他方法：OPTIONS，PUT，DELETE，和 CONNECT

Elasticsearch操作方法

PUT（增） DELETE（删） 改（POST） 查（GET）

curl命令

在linux中curl是一个利用URL规则在命令行下工作的文件传输工具，是一款很强大的http命令行工具。它支持多种请求模式，自定义请求头等强大的功能，是一个强大的综合工具

API查询
查询_cat方法
# 查询支持的关键字
[root@es-0001 ~]# curl -XGET http://es-0001:9200/_cat/
# 查具体的信息
[root@es-0001 ~]# curl -XGET http://es-0001:9200/_cat/master
# 显示详细信息 ?v
[root@es-0001 ~]# curl -XGET http://es-0001:9200/_cat/master?v
# 显示帮助信息 ?help
[root@es-0001 ~]# curl -XGET http://es-0001:9200/_cat/master?help
创建索引

指定索引的名称，指定分片数量，指定副本数量

创建索引使用 PUT 方法，创建完成以后通过 head 插件验证

[root@es-0001 ~]# curl -XPUT http://es-0001:9200/tedu -d \
'{
    "settings":{
       "index":{
          "number_of_shards": 5, 
          "number_of_replicas": 1
       }
    }
}'
增加数据
[root@es-0001 ~]# curl -XPUT http://es-0001:9200/tedu/teacher/1 -d \
'{
  "职业": "诗人",
  "名字": "李白",
  "称号": "诗仙",
  "年代": "唐"
}'
查询数据
[root@es-0001 ~]# curl -XGET http://es-0001:9200/tedu/teacher/1?pretty
修改数据
[root@es-0001 ~]# curl -XPOST http://es-0001:9200/tedu/teacher/1/_update -d \
'{ 
    "doc": {
        "年代": "公元701"
    }
}'
删除数据
# 删除一条
[root@es-0001 ~]# curl -XDELETE http://es-0001:9200/tedu/teacher/1
# 删除索引
[root@es-0001 ~]# curl -XDELETE http://es-0001:9200/tedu

kibana介绍

kibana是数据化可视平台工具

特点：

​ 灵活的分析和可视化平台

​ 实时总结流量和数据的图表

​ 为不同用户显示直观的界面

​ 即时分享和嵌入的仪表板

kibana安装
购买云主机
主机IP地址配置
kibana192.168.1.46最低配置1核1G
安装kibana
[root@kibana ~]# vim /etc/hosts
192.168.1.41	es-0001
192.168.1.42	es-0002
192.168.1.43	es-0003
192.168.1.44	es-0004
192.168.1.45	es-0005
192.168.1.46	kibana
[root@kibana ~]# yum install -y kibana
[root@kibana ~]# vim /opt/kibana/config/kibana.yml
02  server.port: 5601
05  server.host: "0.0.0.0"
15  elasticsearch.url: "http://es-0001:9200"
23  kibana.index: ".kibana"
26  kibana.defaultAppId: "discover"
[root@kibana ~]# systemctl enable --now kibana

绑定弹性公网IP，通过 WEB 浏览器验证

http://弹性公网IP:5601/status

导入日志数据

拷贝云盘 public/elk/logs.jsonl.gz 到跳板机

[root@ecs-proxy ~]# gunzip logs.jsonl.gz 
[root@ecs-proxy ~]# curl -XPOST http://192.168.1.41:9200/_bulk --data-binary @logs.jsonl

kibana绘制图表

img

img

img

img

img

img

img

img

logs.jsonl


### kibana绘制图表

[外链图片转存中...(img-kwnClvlj-1608602331854)]

[外链图片转存中...(img-e8Gd4L04-1608602331855)]

[外链图片转存中...(img-PRyUVM3p-1608602331855)]

[外链图片转存中...(img-mzMKQ1Ze-1608602331856)]

[外链图片转存中...(img-EHvSvDoz-1608602331856)]

[外链图片转存中...(img-RwmE4xXn-1608602331857)]

[外链图片转存中...(img-gvSF3udg-1608602331857)]

[外链图片转存中...(img-FlHq60jY-1608602331858)]

![img](https://img-blog.csdnimg.cn/img_convert/3bfc92609260dda0783b1c13faaba9a2.png)
hegusailuo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hydd的Linux笔记Day27
hegusailuo的博客
10-15 196
Day27 sed命令续 sed命令的其他选项 ​ a：行下追加 ​ i：行上添加 ​ c：替换整行 处理多行文本 ​ 修改后文本有多行的时候 ​ 以换行符\n分隔或者，使用\强制换行 ​ Sed中s替换的高级应用 1）删除文件中每行的第二个、最后一个字符 sed ‘s/.//2;s/.$//’ test 分两个步骤完成，中间用分号 隔开，第一步将每行的第二个任意字符替换成空，第二 步将每行的最后一个任意字符替换成空即可 2）删除文件中所有的数字 sed -i ‘s/[0-9]//g’
hydd的Linux笔记Day75
hegusailuo的博客
12-21 256
Day75 部署metrics-server metrics mettics介绍 metrics是什么？ metrics是一个监控系统资源使用的插件，可以监控node节点上的cpu、内存的使用率，或者pod对资源的占用率，通过对资源占用的了解，更加合理的部署容器应用。 metrics从Kubernetes 1.8开始，资源的使用情况的监控可以通过Metrics API的形成获取，具体的组件为Metrics Server，用来替换之前的heapster，heapster从1.11开始逐步废弃。 metric-
hydd的Linux笔记Day15
hegusailuo的博客
09-23 292
Day15 缓存DNS 环境准备 ​ 配置一个基本的DNS服务器即可 ​ 关闭防火墙 ​ 关闭SELinux 缓存DNS服务器 ​ 作用：缓存解析结果，加速访问速度。 配置缓存DNS服务器 vim /etc/named.conf options { listen-on port 53 { any; }; forwarders { 192.168.4.7; }; }; 重启服务 访问DNS服务器 分离解析 ​ 当收到客户机的DNS查询请求的时候 ​
hydd的Linux笔记Day72
hegusailuo的博客
12-16 215
Day72 Kubernetes master概述 kubernetes概述 kubebnets介绍 kubectl是谷歌研发的大规模容器管理技术Borg的开源管理Borg的开源版本。可以简写为k8s. K8S的用途 k8s是一套能够对容器进行更高级更灵活的编排管理和调度等操作的系统。 K8s是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动化扩容缩容、维护等功能。 Kubernetes适用场景 有大量跨主机的容器需要管理 快速部署应用、 快速扩展应用 无缝对接新应用的功能 节省资源，
基于优化初始种子新策略的K-Means聚类算法
02-22
HYDD 算法的基本思想是对数据集进行密度排序，在此基础上选取密度大且满足距离大于密度直径的数据作为候选初始种子集，然后利用点点之间距离从大到小选取 K 个所需的种子，最后利用该初始种子集引导 K-Means 算法来...
分布式相关理论详解
zhifou123456的博客
07-25 973
分布式系统就是将整个系统根据业务拆分多个微服务，服务之间通过Rpc进行通信。集群是将多个相同应用部署到不同的集群模式上，本质上是为了提高吞吐量已经保证高可用性。CAP理论是分布式系统的理论基础,即一个分布式系统最多满足CAP这三项中的两项。即只能满足一致性(Consistance)、可用性（Aviablity）、分区容忍性（Partition tolerance）中的两项。线性一致性是要求最高的一种一致性，他要求无论从哪个副本读取数据，一定读到的是当前整个集群里面最新的数据。
【SpringCloud】 微服务分布式环境下的事务问题，seata大合集
qq_50446805的博客
07-23 1116
前面聊了一些常见的分布式事务方案，接下来我们所主要实现的是通过微服务的阿里组件，seata来实现微服务领域中的分布式事务。Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。AT模式（Auto Transcation）是阿里首推的，因为对代码是零侵入的，使用起来很方便。TC：班主任，某某学生成绩下滑，学校里打架，则通知家长回家好好教育（驱动回滚）；
Minos 多主机分布式 docker-compose 集群部署
wangqiaowq的博客
07-25 269
对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。当然 Minio 除了直接作为对象存储使用，还可以作为云上对象存储服务的网关层，无缝对接到 Amazon S3、MicroSoft Azure。Minio 是个基于 Golang 编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。
Gateway网关分布式微服务认证鉴权
最新发布
pscool的博客
07-25 551
（之前有使用过这种实现，定义个公共认证模块的jar包，各个微服务引入这个jar包，jar包中引入了security，开启全局校验，各个微服务可以使用注解，各个微服务可以覆盖jar包中的关键配置类实现。但是，后来遇到微服务之间互相调用时也得把这个令牌给带上去以供被调用的微服务作权限校验的问题，这样就导致权限校验管理混乱。所以还不如直接在网关层作校验，然后校验通过后，将用户身份权限写成请求头，在网关转发的时候携带给下面的微服务，后面微服务如果有必要作权限校验的话，可以使用AOP自主实现校验逻辑）
分布式文件存储行业解决方案和技术选型分析
zhuzhu_YT的博客
07-25 1700
上一集，我们已经完成了初始化测试报告以及判断压测类型的实战，我们在文章的末尾提到了文件上传的问题以及文件存储的问题，也说了接下来的几集中，我们会讨论分布式文件存储的内容。那么话不多说，我们就根据这一集的标题来展开分布式文件存储的讨论吧。成本：MinIO作为开源解决方案，可以节省成本，适合对存储成本有严格控制的场景。而云厂商解决方案需要付费，但通常提供更全面的服务和支持。自主性：使用MinIO等开源解决方案，企业可以拥有更高的自主性和控制权，而云服务则由服务提供商管理。集成性。
分布式：保证分布式事务的一致性
海绵宝宝de派小星的博客
07-25 1431
保证分布式事务的一致性
Activiti 6 兼容openGauss数据库bytes类型不匹配
cainiaofeitian的专栏
07-25 331
然后去找了一下postgre 数据库类型跟jdbc的类型对照，bytea对应的是binary，找到resource.xml(位置是org.activiti:activiti-engine:6.0.0/org.activiti/db/mapping/entity/Resource.xml)，批量插入的sql把jdbcType修改为binary，重启项目，还是报错。byte_字段是act_ge_bytearray表的，openGauss里的类型是bytea，类型是匹配的。
elasticsearch全接触-面试宝典-知识大全
jylee的博客
07-24 1195
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。
ElasticSearch(五)— 文本分析与分词
敲代码的小小酥的博客
07-25 816
文本分析( analysis )是在文档被发送并加入倒排索引之前，Elasticsearch 在其主体上进行的操作。在文档被加入索引之前，Elasticsearch 让每个被分析字段经过一系列的处理步骤。Elasticsearch 首先运行字符过滤器（char filter）。这些过滤器将特定的字符序列转变为其他的字符序列。这个可以用于将 HTML 从文本中剥离，或者是将任意数量的字符转化为其他字符(也许是将“I love u 2”这种缩写的短消息纠正为“I love you too”。
Python 消费Kafka手动提交 批量存入Elasticsearch
ytp552200ytp的博客
07-25 264
Python 消费Kafka手动提交 批量存入Elasticsearch
HJ87密码等级
晴山の博客
07-25 416
这个题目就是细心处理一下就行，比较简单。
ES常见命令汇总
wangqiaowq的博客
07-24 230
"query": {
发现一个ES新特性Object.groupBy() ，对数组对象进行分组
qq_45569925的博客
07-25 428
Object.groupBy()是一个JavaScript方法，用于将数组中的对象按照指定的属性进行分组。这个方法提供了一个直观的数组分组手段，不仅简化了开发者编写代码的过程，而且使代码具有更好的可读性。使用Object.groupBy()，你可以非常方便地按照指定的属性对数组中的对象进行分组。值得注意的是，使用Object.groupBy()方法返回的对象是一个“纯净”的对象——即没有继承任何原型链上的属性或方法。
Git 分布式版本控制系统、创建分支，跳转分支、git拉取、在码云上创建项目，进行pull 和 push、克隆码云上任意项目
十四的博客
07-25 943
root@13git yy000]# git commit -m "新增了一个test.Java文件"[root@13git yy000]# echo "我是主分支，我修改了文件" > test.java。[root@13git yy000]# echo "我是玉兰，我要吃烤鸭" >> test.java。[root@13git yy000]# echo "我是a" >> test.java。[root@13git yy000]# echo "我是b" >> test.java。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值