- 博客(55)
- 收藏
- 关注
RSS订阅原创 kibana
用户可以通过Kibana构建交互式的仪表盘，根据数据生成图表和图形，进行数据过滤和查询，以及将数据在地图上进行地理可视化。这使得用户能够通过直观的方式从大量的数据中提取有价值的见解，进行数据挖掘和分析。Kibana是一个开源的数据可视化和分析平台，主要用于与Elasticsearch一起使用，帮助用户更好地理解和分析存储在Elasticsearch中的数据。总之，Kibana为用户提供了一个强大的工具，帮助他们将复杂的数据转化为易于理解和分享的可视化形式，从而更好地了解数据中的模式、趋势和关联。
2023-08-16 09:42:56
125
原创 logstash 原理（含部署）
1、ES原理原理 使⽤filebeat来上传⽇志数据，logstash进⾏⽇志收集与处理，elasticsearch作为⽇志存储与搜索引擎，最后使⽤kibana展现⽇志的可视化输出。所以不难发现，⽇志解析主要还 是logstash做的事情从上图中可以看到，logstash主要包含三⼤模块：1、INPUTS: 收集所有数据源的⽇志数据（[源有file、redis、beats等，filebeat就是使⽤了beats源*）；
2023-08-15 16:14:37
630
原创 ES 概念
Elasticsearch是分布式实时搜索、实时分析、实时存储引擎，简称（ES）成立于2012年，是一家来自荷兰的、开源的大数据搜索、分析服务提供商，为企业提供实时搜索、数据分析服务，支持PB级的大数据。它们共同构成了Ela。总结：索引是数据的逻辑容器，文档是基本的数据单位，类型（现已弃用）曾用于在索引内部区分不同的数据结构。：一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。每个分片是一个独立的、自包含的数据单元，它包含了索引的部分数据以及相关的索引结构信息。
2023-08-15 10:22:29
536
原创 elasticsearch-head 插件
*Kopf** 是另一个第三方提供的一款很优秀的插件，在head功能的基础上，又增加了很多优秀的功能，基本上可以完成所有功能，比如settings的配置、mapping的新增 、修改。**Head** 是第三方提供的一款很优秀的插件，集监控、查询、配置一体的web功能系统，可以在系统中进行创建、删除索引 、文档。下载地址：https://github.com/mobz/elasticsearch-head。1、下载地址：https://nodejs.org/en/download/
2023-08-14 17:17:06
997
原创 kafka部署
在计算机领域中，二进制下载通常指预构建的软件分发包，可以直接安装在系统上并使用"2.12"：这是 Kafka 的 Scala 版本号。Scala 是一种在 Java 虚拟机上运行的编程语言，Kafka 是使用 Scala 编写的"kafka_2.12-2.4.0" 表示 Kafka 使用 Scala 2.12.x 编写，具体版本为 2.4.0。
2023-08-01 15:44:03
1246
原创 kafka raft协议
但对于 "__consumer_offsets" 这个内置Topic，Kafka会确保其只有一个Partition，并且该Partition在集群中的所有Broker上都有一个副本，以确保该信息的高可用性。实际上，Kafka 集群中只有分区的主节点（leader）负责处理来自生产者的消息和消费者的读取请求，而其他节点维护分区的副本（replica）。Kafka的日志，每个分区是一个逻辑上的文件，顺序写入，只有一个Partition的时候，所有消息都是顺序的。即承担了各种元数据的保存和各种选举。
2023-07-31 17:05:53
949
原创 filebeat介绍
1.Prospectors:检测和采集日志数据的组件,可以检测新的日志文件或文件增量,并向Harvesters发送读取请求。2.Harvesters:读取日志文件的组件,会读取Prospector传来的日志文件,进行过滤和捕捉,并将事件发送给Spooler。3.Spooler:收集Harvester读取的事件,并进行缓冲,最后批量发送给输出(Output)。4.Registry记录哪些文件被读取过,和读取到的Offset,用于下次检测文件增量。
2023-07-28 17:01:49
1214
原创 nfs 文件共享
它允许将远程存储设备（如文件服务器）上的目录和文件挂载到本地的Linux或UNIX系统上，使得用户可以像访问本地文件一样访问远程文件。
2023-07-26 10:47:34
225
原创 zabbix 详解
zabbix proxy 可以代替 zabbix server 收集性能和可用性数据,然后把数据汇报给 zabbix server,并且在一定程度上分担了zabbix server 的压力.此外，当所有agents和proxies报告给一个Zabbix server并且所有数据都集中收集时，使用proxy是实现集中式和分布式监控的最简单方法。zabbix proxy 使用场景:监控远程区域设备监控本地网络不稳定区域当 zabbix 监控上千设备时,使用它来减轻 server 的压力。
2023-07-24 16:24:35
1233
原创 grafana直连zabbix数据库
grafana（注意grafana和zabbix插件版本一致性，不一样会有冲突）下载地址1、安装wget2安装zabbix插件安装 插件到/var/lib/grafana/plugins下3、安装完插件重启grafana。
2023-07-05 16:21:51
767
原创 RAID 介绍（含有硬件RAID卡）
其中，--level=5指定RAID级别为5，--raid-devices=3指定使用3块磁盘驱动器，后面的/dev/sdb、/dev/sdc、/dev/sdd是要组成RAID 5阵列的磁盘驱动器设备名称。数据保护和冗余：RAID卡支持不同的RAID级别，如RAID 0、RAID 1、RAID 5等，提供数据冗余和容错能力，以保护数据免受磁盘故障的影响。硬件加速：由于RAID卡具有自己的处理器和内存，它可以在硬件级别上执行RAID操作，减轻了主机CPU和内存的负担，从而提供更高的效率和吞吐量。
2023-05-15 16:31:45
1814
原创 linux 下 ps、sort、top 命令详解
1）查看进程的时候，让进程按照CPU使用率排序，然后展示前10行，就能清晰地看到哪些进程占用的资源比较多。S:进程状态（D=不可中断的睡眠状态，R=运行中或可运行s=睡眠中，T表示已跟踪以及已停止，z=僵停。作用：查看系统进程，比如正在运行的进程有哪些，什么时候开始运行的，哪个用户运行的，占用了多少资源。2）同理，把 -pcpu 换成 -pmem，就能查看内存使用最多的10个进程。PS2：+、-号可以调整排序，-pcpu 表示降序，+pcpu 表示升序。%CPU:上次更新到现在的cpu时间占用百分比。
2023-05-12 10:28:56
1484
1
原创 linux out of memory 问题分析
随着用户的增量，服务随时可能被系统oom，所谓oom就是out of memory，当系统的负载到达一定程度，内存使用率使用殆尽，就会触发这种情况，触发oom后系统会kill掉内存使用率最高的进程，服务随之崩溃，omm会触发kernel，kernel为了保障服务器正常运行，会把使用最高的进程kill。
2023-05-11 10:28:56
258
原创 关闭swap分区有什么优缺点？
1.提高性能：关闭 Swap 分区可以提高服务器的性能，因为 Swap 分区通常会在物理内存不足时被使用，这会导致额外的 I/O 操作和延迟。当系统有 Swap 分区时，需要定期检查 Swap 分区的使用情况，并可能需要调整 Swap 分区的大小，关闭 Swap 分区可以避免这些问题。3.不适用于某些应用程序：某些应用程序可能需要 Swap 分区才能正常运行，关闭 Swap 分区可能会导致这些应用程序无法正常工作。禁用 Swap 分区只会在当前会话中生效，如果你想要永久禁用 Swap 分区，需要在。
2023-04-25 15:51:32
3576
原创 一些常见的服务（正义的化身）
数据库：MySQL、PostgreSQL、Oracle、SQL Server、MongoDB、Redis、Memcached、Elasticsearch。高可用和负载均衡：Keepalived、LVS、HAProxy、NGINX Plus、F5、AWS ELB、Azure LB、GCP LB。数据分析和处理：Hadoop、Spark、Flink、Storm、Hive、Pig、Sqoop、Flume、Kafka Streams。缓存服务：Redis、Memcached、Ehcache、Hazelcast。
2023-04-23 17:04:06
98
原创 linux 磁盘io 分析工具
p: ALL 用于显示块设备以及系统分区的统计信息。-d: 只显示磁盘统计信息，不可与-c 搭配。-c:只显示cpu统计信息，不可与-d 搭配。一个类似 top 的工具，用来显示实时的磁盘活动；iotop可以监控进程的I/O信息。-k:以K为单位显示磁盘每秒的请求数。-m:以M为单位显示磁盘每秒的请求数。的，与iostat工具比较，iostat是系统级别的IO监控，而。#安装yum -y install sysstat。%util 代表的是磁盘的使用率。iotop是进程级别IO监控。
2023-04-02 22:10:38
121
原创 sshd 配置文件详解
默认单位为秒ClientAliveInterval 120 比如你设置120 就是2分钟。每一分钟，sshd都和ssh client打个招呼，检测它是否存在，不存时即断开连接。指如果发现客户端没有相应，则判断一次超时，这个参数设置允许超时的次数10；#PermitrootLogin=no 默认允许root用户登录。指定了服务器端向客户端请求消息的时间间隔, 默认是0，不发送。禁止root用户登录：PermitrootLogin=no。#MaxAuthTries 6 最多可以连接6次失败，
2023-03-25 22:44:00
543
原创 free详解
当应用程序需要内存时，如果没有足够的 free 内存可以用，内核就会从 buffer 和 cache 中回收内存来满足应用程序的请求。每个块包含一个或多个扇区，但大小不能超过一个页面，所以一个页可以容纳一个或多个内存中的块。当一个块被调入内存时，它要存储在一个缓冲区中。页高速缓存对普通文件的缓存我们可以这样理解：当内核要读一个文件(比如 /etc/hosts)时，它会先检查这个文件的数据是不是已经在页高速缓存中了。具体地讲，是通过把磁盘中的数据缓存到物理内存中，把对磁盘的访问变为对物理内存的访问。
2023-02-17 17:05:26
129
原创 docker网络
3）Docker将 veth pair 设备的一端放在新创建的容器中，并命名为eth0（容器的网卡)，另一端放在主机中，以 veth*这样类似的名字命名，并将这个网络设备加入到docker0网桥中。Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，（2）Container: 创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围。而不是和宿主机共享。
2023-01-17 13:51:02
65
原创 docker 容器
复制命令类似于Linux系统中的scp命令，是将宿主主机上的内容上传到容器中，也可能是将容器中的文件下载到宿主主机中。第一种：复制到容器内 docker cp [宿主主机的路径] [容器ID]:[容器内的路径]第二种：复制到容器外 docker cp [容器ID]:[容器内的路径] [宿主主机的路径]1.创建容器的格式： docker run [option] image [cmd]docker exec [参数] [容器的ID或名称] [命令]1.格式： docker stop [容器ID及名称]
2022-12-26 16:59:19
85
原创 docker 镜像
1.含义 镜像是运行容器的模板，官方Docker Hub 仓库已经提供了许多镜像共开发者使用。如果我们需要获取某个镜像则可以去Docker仓库下载所需的镜像。2.格式： docker pull [指定仓库URL]/[命名空间]/[镜像名称]:[镜像版本ID]默认情况下：镜像URL是:docker.io, 命名空间名称：library3.实例：docker pull centos。
2022-12-26 16:08:36
894
原创 私有仓库Harbor 简介
Harbor 是一个用于存储和分发 Docker 镜像的企业级 Registry 服务器， 通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源 Docker Distribution。作为一个企业级私有 Registry 服务器，Harbor 提供了更好的性能和安全。提升用户使用 Registry 构建和运行环境传输镜像的效率。Harbor 支持安装在多个 Registry 节点的镜像资源复制，镜像全部保存在私有 Registry 中，确保数据和知识产权在公司内部网络中管控。
2022-12-25 17:59:38
389
原创 dockerfile
说明：RUN命令是一个常用的命令，执行完成之后会成为一个新的镜像，这里也是指镜像的分层构建。这就是之前说的缓存的原理。说明：第一个指令必须是FROM了，其指定一个构建镜像的基础源镜像，如果本地没有就会从公共库中拉取，没有指定镜像的标签会使用默认的latest标签，可以出现多次，如果需要在一个Dockerfile中构建多个镜像。说明：这个命令和CMD命令一样，唯一的区别是不能被docker run命令的执行命令覆盖，如果要覆盖需要带上选项--entrypoint，如果有多个选项，只有最后一个会生效。
2022-12-23 17:06:14
105
原创 docker 图形化管理工具
参数说明：-v /var/run/docker.sock：/var/run/docker.sock：将托管机的Docker守护进程（Docker daemon）关闭监听的Unix域可以挂载到容器中；-v portainer_data：/ data：把宿主机portainer_data数据卷挂载到容器/ data目录；2.单机版在新页面选择本地即可完成安装，3、选择远程然后输入SWARM的IP地址，单击连接完成安装。1.登陆http：// xxxx：9000，设置管理员账号和密码。
2022-12-23 16:26:29
125
原创 Keepalived高可用
Keppalived作用：基于Linux服务器负载均衡器和高可用功能。keepalive的原理：Keppalive高可用之间是通过vrrp协议进行通信的，VRRP协议是通过精选机制来确定主备的。主的优先级高于备，因此工作时，主会获得所有资源，备会处于等待状态。当主挂的时候，备会接管主节点的资源。然后顶替主节点对外提供服务Keepalive主服务对之间，只有主服务会一直发送vrrp广播包，告诉备还活着，此时备不会抢占主，当备监听不到主服务的vrrp包时，备就会启动相关资源，接管资源，保障业务的可持续性。
2022-11-28 16:20:12
684
原创 zabbix 安装
3、编辑配置文件/etc/zabbix/zabbix_agentd.conf，设置zabbix服务器ip，重启zabbix-agent服务。6、登录mysql，创建zabbix数据库，授权用户zabbix使用密码zabbix访问本地zabbix数据库时拥有所有权限。13、修改配置文件/etc/httpd/conf.d/zabbix.conf，时区改成 Asia/Shanghai。5、安装数据库mysql，启动服务并设置为开机启动，设置数据库账户root密码。3、点击下一步，进入配置数据库连接界面。
2022-11-20 19:43:08
354
原创 Dubbo + Zookeeper
概述：Dubbo是阿里巴巴内部使用的业务框架dubbox是基于远程过程调用协议，rcp是JDK底层提出的协议,Dubbo只是对这个协议的实现的一个框架技术,rpc协议就是跨服务器调用可以从一个项目调用另一个项目中的方法2018.2月，阿里将Dubbo捐献给Apache基金会，Dubbo成为Apache孵化器项目。
2022-10-25 15:41:07
52
原创 gitlab基本概念
如图所示，分配时可以选择这个用户在这个组里所拥有的权限；用户具有不同的能力，这取决于他们在特定的团体或项目中拥有的访问级别。如果用户同时在组的项目和项目本身，则使用两者中较高的那个权限级别。Group关联的Member和Member对应的权限，会继承到Group下的所有Project和子Group上。Project中除了继承Group的Member，还可以单独设置新的Member。Group每一级都可以设置关联的Member，同时每一级下都可以创建项目。Regular：可以拥有被加入的组和项目的权限。
2022-10-21 22:35:03
1152
原创 redis 是啥，能干什么？
1、经常会被查询、但是不怎么会被修改或者删除的数据，由于redis 的访问速度比较快，支持的数据类型比较丰富，优先是使用redis缓存。C语言编写开源的、redis 基本内存的，可选持久性的键值对，以key-value值的方式存取数据。1、基于内存，cpu不是redis的瓶颈、内存和网络带宽才是；cpu的速度大于内存、内存大于硬盘。2、单线程、避免了cpu的上下文切换，损耗。这是Redis速度快的主要原因。三、redis的数据类型。四、redis的应用场景。一、redis的优点。二、redis的缺点。
2022-10-21 16:58:59
293
原创 linux 下开源哪些有哪些？
ZooKeeper JAVA apache项目开源基金会的一个顶级项目 apache项目开源基金会所有的项目都是使用java写的,gitlab Ruby 乌克兰程序员，后来，一些部分用Go语言重写。jenkins JAVA 开源的持续集成工具。Redis C 开源 NOSQL 数据库。mysql C和“C++” 开源。Nginx C 开源。Tomcat JAVA 开源。apache C 开源。docker go 开源。
2022-10-21 14:34:23
977
原创 Linux 安装redis
一、下载redis包下载完成后需要将压缩文件解压，输入以下命令解压到当前目录一般都会将redis目录放置到 /usr/local/redis目录，所以这里输入下面命令将目前在/root目录下的redis-5.0.7文件夹更改目录，同时更改文件夹名称为redis。cd到/usr/local/redis目录，输入命令make执行编译命令，接下来控制台会输出各种编译过程中输出的内容。安装输入以下命令这里多了一个关键字 PREFIX= 这个关键字的作用是编译的时候用于指定程序存放的路径。
2022-10-20 17:32:15
229
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人