- 博客(402)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 【Prometheus】jmx_prometheus_javaagent监控java应用
promethues采集数据的方法很多，常用的是通过各种exporter去主机采集，然后有些程序是没有相关的exporter,所以有些时候会通过脚本采集服务的数据，还有一些程序的metrics自身也没有暴露，通过 脚本采集的方法也不常用，工作中java程序又比较常见，所以有人开发了jmx_prometheus_javaagent.jar专门用来采集java程序metrics的。
2024-09-19 08:50:50
1250
45
原创 【DataSophon】Yarn配置历史服务器JobHistory和Spark集成historyServer
HistoryServer服务可以让用户通过Spark UI界面，查看历史应用（已经执行完的应用）的执行细节，比如job信息、stage信息、task信息等，该功能是基于spark eventlogs日志文件的，所以必须打开eventlogs日志开关。方便在xxxx:8088查看历史任务运行日志信息。
2024-09-13 08:55:15
1756
58
原创 【虚拟化】KVM-virsh离线工具进行客户机虚拟机磁盘访问
Red Hat Enterprise Linux 7 提供多个 libguestfs 工具，可访问、编辑和创建客户机虚拟机磁盘或其他磁盘镜像。这些工具有多种用途，包括：查看或下载位于客户机虚拟机磁盘中的文件。在客户机虚拟机磁盘上编辑或上传文件。
2024-09-09 10:50:53
1540
73
原创 【虚拟化】KVM存储卷和存储池
在KVM（Kernel-based Virtual Machine）虚拟化平台中，存储池（Storage Pool）是用来管理和存储虚拟机镜像及其相关数据的概念。存储池是一个由libvirt管理的文件、目录或存储设备，提供给虚拟机使用。存储池被分为存储卷，这些存储卷保存虚拟镜像或连接到虚拟机作为附加存储。libvirt通过存储池的形式对存储进行统一管理、简化操作。基于目录创建存储池（dir: Filesystem Directory），在本地创建一个测试目录，dir为存储池格式。查看池kvm池的信息。
2024-09-05 08:54:42
1105
65
原创 【虚拟化】KVM常用命令操作(virsh磁盘管理)
libvirt是用来管理虚拟机或虚拟化功能的软件集合，主要包括：libvirt API，libvirtd进程和virsh工具集三部分。最初的目的是为不同的hypervisor提供统一的管理接口。
2024-09-02 08:53:38
1562
64
原创 【虚拟化】KVM常用命令操作(virsh虚拟机常用操作之开关|连接|自启|克隆|快照)
libvirt是用来管理虚拟机或虚拟化功能的软件集合，主要包括：libvirt API，libvirtd进程和virsh工具集三部分。最初的目的是为不同的hypervisor提供统一的管理接口。（1）远程代理所有remote client发送来的命令，由该进程监测执行;（2）本地环境初始化libvirt服务的启停，用户connection的响应等;（3）根据环境注册各种Driver（qemu, xen, storage…）的实现查看libvirtd服务状态。
2024-08-27 09:22:55
1488
68
原创 【虚拟化】KVM命令行安装linux虚拟机
QEMU是个独立的虚拟化解决方案，从这个角度它并不依赖KVM。而KVM是另一套虚拟化解决方案，不过因为这个方案实际上只实现了内核中对处理器（Intel VT, AMD SVM)虚拟化特性的支持，换言之它缺乏设备虚拟化以及相应的用户空间管理虚拟机的工具，所以它借用了QEMU的代码并加以精简，连同KVM一起构成了另一个独立的虚拟化解决方案：KVM+QEMU。KVM可以运行多个其本身运行未改动的镜像的虚拟机，例如Windows，Mac OS X ，每个虚拟机都有各自的虚拟硬件，比如网卡、硬盘核图形适配器等。
2024-08-19 08:52:41
1160
72
原创 【虚拟化】KVM安装和WebVirtMgr创建虚拟机
KVM 的工作原理是使用 Linux 内核的虚拟化模块，将物理服务器划分为多个虚拟机。KVM 在 Linux 内核之上构建一个虚拟化层，该虚拟化层允许多个虚拟机共享物理服务器上的计算资源(如 CPU、内存和 0 设备)。在此虚拟化层中，每个虚拟机都被视为单独的计算机，每个虚拟机可以运行不同的操作系统和应用程序。KVM使用硬件虚拟化技术，即通过 intel VT-x 和 AMD-V 等 CPU 虚拟化指集的支持，将虚拟化性能提升到接近原生性能。此外，KVM 还使用 QEMU 作为其虚拟机监控程序，
2024-08-13 09:25:25
3341
66
原创 【虚拟化】KVM使用virt-manager部署及管理虚拟机
KVM 是 Kernel-based Virtual Machine 的缩写，是一种用于虚拟化的开源硬件虚拟化技术。它使用 Linux 内核的虚拟化模块，将物理服务器划分为多个虚拟机。KVM 允许虚拟机直接访问物理硬件资源，从而提供出色的性能和稳定性,同时还支持许多常见的操作系统和应用程序。 KVM 使用了 QEMU (Quick Emulator) 作为其默认的虚拟机监控程序。除此之外，KVM 还支持多种嵌入式和云计算场景，并且得到了广泛的应用。
2024-08-05 08:54:23
2213
82
原创 【虚拟化】KVM概念和架构
vm就是一个普通的linux进程，由linux内核调度程序进行调度，vm因此可以使用linux内核已有的功能。vm的执行本质就是vm中cpu的执行，因此vm的每个cpu就是普通的linux进程。
2024-07-29 08:48:58
2929
77
原创 【虚拟化】虚拟化简介 | Hypervisor介绍
虚拟化是一种能够更有效地利用物理计算机硬件的过程，是云计算的基础。虚拟化技术使用软件，在计算机硬件上创建一个抽象层，能够将单台计算机的硬件元素（处理器、内存、存储等）分成多个虚拟计算机（通常称为虚拟机 (VM)）。 每个虚拟机都会运行自己的操作系统 (OS)，其行为就像一台独立的计算机，即使它只在一部分实际底层计算机硬件上运行。
2024-07-26 09:22:39
3797
64
原创 【Linux】Wmware ESxi 无法创建 VMFS 数据存储 datastore2 - 无法更新 /vmfs/devices/disks/naa.5000c500c05b3276 的磁盘分区。
提示错误：主 GPT 表指出备份 GPT 位于磁盘末尾之外。如果磁盘缩小或分区表损坏，则可能会发生这种情况。通过在最后写入备份表来修复。ESxi 中选择 打开主机“启用 SSH”然后我们可以直接 远程到主机。创建新的VMFS数据存储。然后重新创建新盘完成。
2024-07-22 09:30:15
3452
58
原创 【堡垒机】jumpserver安装和基本使用
JumpServer 是全球首款完全开源的堡垒机, 使用 GNU GPL v2.0 开源协议, 是符合 4A 的专业运维审计系统。为互联网企业提供了认证，授权，审计，自动化运维等功能。JumpServer 使用 Python / Django 进行开发, 遵循 Web 2.0 规范, 配备了业界领先的 Web Terminal 解决方案, 交互界面美观、用户体验好。JumpServer 采纳分布式架构, 支持多机房跨区域部署, 中心节点提供 API, 各机房部署登录节点, 可横向扩展、无并发访问限制。
2024-07-17 08:59:56
1883
67
原创 【Linux】WMware ESXi 插入新磁盘并扩容
概念在 Linux 中，每一个硬件设备都映射到一个系统的文件，对于硬盘、光驱等 IDE 或 SCSI 设备也不例外。Linux把各种 IDE 设备分配了一个由 hd 前缀组成的文件；而对于各种 SCSI 设备，则分配了一个由 sd 前缀组成的文件。磁盘分区是将物理磁盘划分为独立的逻辑区域，每个区域可以作为一个独立的文件系统挂载到系统中。通过磁盘分区，我们可以更好地组织和管理磁盘空间。逻辑卷管理（LVM）在虚拟机挂载新的磁盘选择添加新盘位置浏览选择[datastore2]磁盘置备中，选择硬盘的格式。
2024-07-11 09:16:28
2338
65
原创 【DataSophon】DataSophon1.2.1 ranger usersync整合
一、简介一、简介如下是DDP1.2.1默认有的rangerAdmin， 我们需要将rangerusersync整合进来 ,实现将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理。
2024-07-08 09:20:11
2154
64
原创 【DataSophon】DataSophon1.2.1服务组件开启 kerberos
DataSophon也是个类似的管理平台，只不过与智子不同的是，智子的目的是锁死人类的基础科学阻碍人类技术爆炸，而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。
2024-07-04 09:26:03
4125
67
原创 【linux】虚拟机安装 BCLinux-R8-U4-Server-x86_64
移动云Linux系统订阅服务 CLS （Cloud Linux Service）为使用BC-Linux操作系统的用户提供标准维保服务以及高级技术支持服务，购买Linux系统订阅服务的用户可在第一时间获得BC-Linux操作系统的补丁、漏洞修复、更新、升级的推送，为用户提供商业化Linux操作系统和相关服务，让您的系统安全、可靠的运行。
2024-07-02 09:15:46
2072
46
原创 【Linux】虚拟机安装 openEuler 24.03 X86_64
1.1 openEuler 覆盖全场景的创新平台openEuler 已支持 x86、Arm、SW64、RISC-V、LoongArch 多处理器架构，逐步扩展 PowerPC 等更多芯片架构支持，持续完 善多样性算力生态体验。openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边缘计算、 嵌入式等更多场景。
2024-07-01 09:39:39
4552
53
原创 【Linux】Wmware Esxi磁盘扩容
在 Linux 中，每一个硬件设备都映射到一个系统的文件，对于硬盘、光驱等 IDE 或 SCSI 设备也不例外。它允许我们在不改变物理磁盘配置的情况下，动态调整逻辑卷的大小。通过使用LVM，我们可以更灵活地管理磁盘空间，满足不断增长的数据需求。ps:使用fdisk工具只是将分区信息写到磁盘,如果需要mkfs磁盘分区则需要重启系统,而使用partprobe则可以使kernel重新读取分区信息,从而避免重启系统.磁盘分区是将物理磁盘划分为独立的逻辑区域，每个区域可以作为一个独立的文件系统挂载到系统中。
2024-06-26 11:07:02
4244
75
原创 【Linux】ss 命令使用详解
Linux下的ss命令是Socket Statistics的缩写，也被称为IPC（Inter-Process Communication）套接字统计。这是一个强大的网络管理命令，主要用于获取系统中socket的统计信息，可以帮助系统管理员诊断和排查网络问题，包括检查当前网络连接及端口状态、搜索网络问题、统计网络情况、过滤网络数据等等，从而解决网络问题，节省管理工作量，保证网络安全。首先ss命令能显示更多更详细的TCP和连接状态的信息。其次，它在处理大量socket连接时，比netstat更快更高效。
2024-06-21 10:41:16
7170
75
原创 【Linux】使用 iptables 验证访问HDFS 所使用到的端口
当一个数据包到达一个链时，iptables就会从链中第一条规则开始检查，看该数据包是否满足规则所定义的条件。否则iptables将继续检查下一条规则，如果该数据包不符合链中任一条规则，iptables就会根据该链预先定 义的默认策略来处理数据包。，iptables内置了4个表，即filter表、nat表、mangle表和raw表，分别用于实现包过滤，网络地址转换、包重构(修改)和数据跟踪处理。背景： 在客户有外网的服务器需要访问内网大数据集群HDFS，使用iptable模拟测试需要开放的端口。
2024-06-17 09:28:12
2282
75
原创 【中间件】Pulsar集群安装
一、Pulsar介绍一、Pulsar介绍1.1 Pulsar基本介绍pulsar是一个云原生企业级的发布订阅（pub-sub）消息系统，最初由Yahoo开发，并于2016年底开源，现在是Apache软件基金会顶级开源项目。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。
2024-06-13 08:42:49
2689
76
原创 【Linux】ip命令详解
IP命令是一个非常强大的命令行工具，用于管理与配置网络接口和路由表。vrf }对象释义link网络设备address设备的协议地址(IP或IPv6)addrlabel用于协议地址选择的标签配置route路由表项rule路由策略数据库中的规则neighbour管理ARP或NDISC缓存项ntable管理邻居cache的操作tunnelIP隧道tuntap管理TUN/TAP设备maddress多播地址mroute组播路由缓存项mrule。
2024-06-07 08:49:39
15249
102
原创 【Linux】ifconfig命令详解
ifconfig是Linux中常用的网络配置工具之一，它的主要功能是用于配置和管理网络接口，包括设置IP地址、子网掩码、网络广播地址等。随着计算机网络的发展，ifconfig逐渐成为Linux系统中网络管理的重要工具。然而，在最新版本的Linux系统中，ifconfg已被ip addr和ip link 慢慢取代。。尽管如此，ifconfig仍然是许多用户和管理员常用的工具，具有广泛的应用场景。
2024-06-04 08:44:59
3023
93
原创 【Ambari】Docker 安装Ambari 大数据单机版本
1.1 部署 docker1.2 部署 docker-compose创建网络1.3 版本说明组件版本操作系统ambari2.7.4HDP3.1.4HDP-GPL3.1.4HDP-UTILS1.1.0.22JDK如下安装只做测试。二 、镜像构建启动2.1 系统镜像构建系统镜像构建2.2 安装包源镜像构建源镜像构建。
2024-05-28 08:47:34
4677
107
原创 【Hadoop】DataNode 数据盘进行磁盘DiskBalancer
DiskBalancer是一个命令行工具，可在DataNode的所有磁盘上均匀分发数据。 此工具对给定的DataNode进行操作，并将块从一个磁盘移动到当前DataNode的另一个磁盘。DiskBalancer通过创建计划并继续在DataNode上执行该计划。 计划是一组陈述，描述了两个磁盘之间应该移动的数据。 计划由多个移动步骤组成。 移动步骤具有源磁盘，目标磁盘和移动的字节数。 可以针对运行数据节点执行计划。DiskBalancer是一个相对独立的线程，它可以对数据的复制进行限流。
2024-05-21 11:24:53
3266
107
原创 【prometheus】prometheus基于consul服务发现实现监控
Consul是一个分布式的，高可用的服务注册系统，由server端和client端组成，每个server和client都是consul的一个节点，consul客户端不保存数据，客户端将接收到的请求转发给响应的Server端。Server之间通过局域网或广域网通信实现数据一致性prprometheus基于consul的服务发现流程如下：（1）在consul注册服务或注销服务（监控targets）
2024-05-16 08:42:01
1887
104
原创 【服务治理中间件】nacos介绍和基本使用
Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service的首字母简称，一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据及流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。Nacos 是构建以“服务”为中心的现代应用架构 (例如微服务范式、云原生范式) 的服务基础设施。
2024-05-13 08:48:47
1648
102
原创 【服务治理中间件】consul介绍和基本原理
Consul是一个服务网格解决方案，提供了一个功能齐全的控制平面，具有服务发现、配置和分段功能。这些功能中的每一项都可以根据需要单独使用，也可以一起使用来构建一个完整的服务网格。Consul需要一个数据平面，并支持代理和原生集成模型。Consul提供了一个简单的内置代理，因此一切都可以开箱即用，但也支持第三方代理集成，如Envoy。Consul的主要功能有:服务发现: Consul的客户端可以注册一个服务，比如api或mysql，其他客户端可以使用Consul来发现特定服务的提供者。
2024-05-08 08:46:59
2939
120
原创 【prometheus】Pushgateway安装和使用
Pushgateway是prometheus的一个组件，prometheus server默认是通过exporter主动获取数据（默认采取pull拉取数据），pushgateway则是通过被动方式推送数据到prometheus server，用户可以写一些自定义的监控脚本把需要监控的数据发送给pushgateway， 然后pushgateway再把数据发送给Prometheus server。
2024-05-06 08:48:18
3272
92
原创 【prometheus】监控nginx并实现可视化
prometheus 监控nginx有两种方式。一种是通过nginx_exporter监控，需要开启nginx_stub_status，主要是nginx自身的status信息，metrics数据现对较少；另外一种使用nginx-vts-exporter监控，但是需要在编译nginx的时候添加nginx-module-vts模块，监控数据较多，提供了包含server、upstream以及cache的相关监控指标，指标更丰富，所以如下采用nginx-vts-exporter实现对nginx的监控。
2024-04-30 08:47:48
4521
95
原创 【prometheus】监控MySQL并实现可视化
mysqld_exporter 是一个用于监控 MySQL 服务器的开源工具，它是由 Prometheus 社区维护的一个官方 Exporter。该工具通过连接到 MySQL 服务器并执行各种查询来收集关于 MySQL 服务器性能和状态的指标，并将这些指标暴露给 Prometheus 监控系统。总的来说，mysqld_exporter 是一个功能强大且易于使用的工具，可以帮助用户监控和诊断其 MySQL 服务器的性能和健康状态，从而及时发现和解决潜在的问题。导入模板后，选择import。
2024-04-25 08:54:30
5053
124
原创 【prometheus】k8s集群部署AlertManager实现邮件和钉钉告警
Prometheus的报警功能主要是利用Alertmanager这个组件。当Alertmanager接收到 Prometheus 端发送过来的 Alerts 时，Alertmanager 会对 Alerts 进行去重复，分组，按标签内容发送不同报警组，包括：邮件，微信，webhook。使用prometheus进行告警分为两部分：Prometheus Server中的告警规则会Alertmanager发送。然后，Alertmanager管理这些告警，包括进行重复数据删除，分组和路由，以及告警的静默和抑制。
2024-04-22 08:45:36
4403
103
原创 【Linux】服务器时区 [ CST | UTC | GMT | RTC ]
硬件时间，也被称为实时时钟（RTC），是指计算机主板上的一个独立于操作系统的设备，它在电源关闭甚至断电情况下也能保持运行。其功能是记录当前的日期和时间。系统时间是计算机内部使用的时间，它通常在启动时从RTC设置，然后由系统时钟进行跟踪。系统时钟是操作系统内核的一部分，可以以毫秒或纳秒级别提供精确时间。本地时间是系统时间经过时区转换后的时间。时区是根据地理位置确定的，全球分为24个时区，每个时区大约代表15度的经度。例如，北京时间是UTC+8，而伦敦时间是UTC+0。时区是为了方便统一时间而划分的地理区域。
2024-04-17 14:57:08
8607
121
原创 【调度工具】Azkaban用户手册
Azkaban 是由 Linkedin 开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban 定义了一种 KV 文件格式来建立任务之间的依赖关系，并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。
2024-04-03 09:21:31
2693
112
原创 【prometheus】k8s集群部署Grafana安装和配置|Prometheus监控K8S
Grafana是一款用Go语言开发的开源数据可视化工具，可以做数据监控和数据统计，带有告警功能。目前使用grafana的公司有很多，如paypal、ebay、intel等。
2024-04-01 08:53:17
4652
105
原创 【Linux】nmcli命令详解
以往我都是在linux的系统中都是通过配置文件来配置和修改ip的，今天我们就来说一说nmcli命令配置网络。目前所有的linux系统配置网卡等信息，均已经推行Network-Manager服务去管理。nmcli 是 NetworkManager 的命令行工具。nm 代表 NetworkManager，cli 代表 Command-Line 命令行
2024-03-25 08:47:10
7860
149
原创 【prometheus】k8s集群部署prometheus server
Prometheus是一个开源的系统监控和报警系统，现在已经加入到CNCF基金会，成为继k8s之后第二个在CNCF托管的项目，在kubernetes容器管理系统中，通常会搭配prometheus进行监控，同时也支持多种exporter采集数据，还支持pushgateway进行数据上报，Prometheus性能足够支撑上万台规模的集群。
2024-03-18 08:45:48
4992
157
原创 【Prometheus】k8s集群部署node-exporter
Exporter是Prometheus的指标数据收集组件。它负责从目标Jobs收集数据，并把收集到的数据转换为Prometheus支持的时序数据格式。 和传统的指标数据收集组件不同的是，他只负责收集，并不向Server端发送数据，而是等待Prometheus Server 主动抓取。
2024-03-11 08:44:34
3694
125
python基础语法入门
2024-05-01
HBase数据库性能调优
2024-05-01
2024 Redis面试宝典
2024-05-01
全国计算机二级十套历年真题
2024-04-30
Java最新大厂面试宝典
2023-10-11
程序猿面试简历模板精选
2023-10-10
dbeaver-ce-6.3.1-win32.win32.x86_64.zip
2020-02-14
SublimeText3_Build3083_x64_XiaZaiBa.zip
2019-08-15
eclipse-jee-2018-09-win32-x86-64.zip
2019-08-12
npp.6.9.2.Installer.zip
2019-08-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人