- 博客(427)
- 资源 (5)
- 收藏
- 关注
原创 【消息队列】kafka2.0.0安装(单机)及基本命令
本文详细介绍了在Linux系统上安装配置JDK和Kafka的完整流程。主要内容包括:1)JDK环境安装与配置;2)Kafka单机部署,包含Zookeeper配置、Broker参数调整及SASL认证设置;3)Kafka生产者和消费者的启动方法;4)通过systemd实现Zookeeper和Kafka服务的开机自启。重点讲解了Kafka的安全认证配置,包括JAAS文件设置和SASL机制启用,并提供了完整的服务注册方案。该指南适用于需要搭建安全Kafka环境的开发人员。
2026-01-05 10:56:35
1716
52
原创 【DataSophon】doris集成和版本升级
摘要:Apache Doris是一款基于MPP架构的高性能实时分析型数据库,支持亚秒级海量数据查询。它采用存算一体架构,包含Frontend和Backend进程,具有高可用、高兼容、实时数仓等核心特性。本文详细介绍了Doris的安装配置流程,包括FE/BE节点部署、参数设置、集群管理等,并提供了1.2.6版本升级到2.1.10版本的具体操作步骤。同时阐述了Doris的时区管理机制,支持通过SET命令修改集群时区设置。该数据库广泛应用于互联网、金融等行业,支持报表分析、用户画像等多种场景。
2025-12-22 10:39:54
990
40
原创 【任务调度】DolphinScheduler钉钉告警消息格式修改
本文介绍了在Apache DolphinScheduler 3.1.8版本中对钉钉告警消息的优化改造。主要修改了DingTalkSender类的generateMarkdownMsg方法,将原有的简单文本告警升级为结构化的Markdown格式消息。新告警消息包含醒目的标题、详细的任务信息(工作流名称、项目名称、任务名称、执行时间等)以及格式化后的运行时长,并通过分割线提升可读性。同时支持@指定人员通知功能,使告警信息更加清晰直观,便于运维人员快速定位问题。该优化显著提升了告警消息的可读性和实用性。
2025-10-20 10:46:58
661
38
原创 【任务调度】DolphinScheduler任务钉钉告警
本文介绍了在DolphinScheduler中配置钉钉告警和脚本告警的方法。钉钉告警部分包括:1)添加钉钉机器人获取webhook;2)在DS中创建钉钉告警实例;3)配置告警组;4)通过定时或手动任务触发告警。脚本告警部分则通过配置shell脚本路径实现告警功能。两种方式都能在任务执行时发送告警消息,便于及时监控任务状态。相关配置步骤清晰,适用于需要实现任务监控告警的场景。
2025-10-09 13:16:58
989
35
原创 【MongoDB】mongoDB数据迁移
本文摘要:MongoDB是一种文档型数据库,采用BSON格式存储数据,支持复杂查询和索引,适用于游戏、物流、社交等多种场景。文章详细介绍了MongoDB的核心概念(数据库、集合、文档等)及其与SQL术语的对应关系。在数据迁移部分,比较了四种迁移方法的优缺点,重点说明了mongodump/mongorestore工具的使用场景和操作步骤,包括远程备份、认证恢复、压缩备份等参数配置。通过具体案例演示了如何将Windows服务器的MongoDB数据迁移到Linux服务器,并提供了详细的备份和恢复命令说明。
2025-09-22 15:02:03
1986
50
原创 【OLAP】trino客户端访问Trino CLI和JDBC
本文介绍了Trino CLI和JDBC driver两种方式连接Trino的方法。Trino CLI提供了基于终端的交互式shell,支持通过Kerberos认证连接服务端,并详细说明了参数配置、查询执行和性能指标解读。JDBC驱动部分则给出了Java代码示例,演示了如何通过Kerberos认证建立连接并执行查询。两种方式都支持HTTPS安全连接和Kerberos认证,适用于不同场景下的Trino访问需求。
2025-08-25 09:54:42
1107
50
原创 【OLAP】trino安装和基本使用
本文全面介绍了Trino分布式SQL查询引擎的架构、特点与部署实践。作为PrestoSQL的分支,Trino采用MPP架构,支持多数据源快速查询,性能可达Hive的10倍以上。文章详细阐述了Trino的Master-Slave架构(Coordinator+Worker节点)、三层数据模型(Catalog-Schema-Table)以及核心特性,包括内存计算、流水线处理等。重点讲解了单机/集群部署流程,涵盖了HTTPS配置、Kerberos认证、Hive连接器集成等关键环节。
2025-08-18 10:32:28
2546
30
原创 【Python】python系列之函数作用域
本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级:Local局部作用域、Enclosing闭包作用域、Global全局作用域和Built-in内置作用域。通过具体代码示例,展示了各层级的变量访问规则和特性,包括函数内部变量的局部性、闭包函数的变量引用、global关键字的使用以及Python内置函数的调用。文章还通过嵌套函数中的变量查找案例,直观地演示了Python按照LEGB顺序查找变量的过程,帮助读者理解变量在不同作用域中的优先级和访问权限。
2025-06-19 13:15:51
1646
35
原创 【Python】python系列之函数闭包概念
文章内容丰富,涵盖了很多实用的知识点,对我来说非常有帮助。尤其是博主在文章中提供了很多实际操作的步骤和技巧,让我能够更好地应用所学的知识。非常感谢博主的分享,期待博主能够继续输出这样优质的好文。
2025-04-17 09:59:33
3136
47
原创 【服务器】RAID0、RAID1、RAID5、RAID6、RAID10异同与应用
磁盘阵列(Redundant Arrays of Independent Disks,RAID),有“数块独立磁盘构成具有冗余能力的阵列”之意。磁盘阵列是由很多块独立的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。磁盘阵列还能利用同位检查(Parity Check)的观念,当数组中任意一个硬盘发生故障时,仍可读出数据。在数据重构时,可将数据经计算后重新置入新硬盘中。
2025-03-18 08:58:12
6102
65
原创 【Ambari】Ranger KMS
它允许用户创建、列出和管理加密区域,以及处理与加密相关的其他任务。创建名为“winner_kms_key”的kms 策略,并选择用户为 "winner_spark"如下我们用hdfs直接查看文件未授权,切换到 winner_spark用户可正常查看加密分区数据。Encryption中选择“winner_kms”服务,选择 “Add New Key”“winner_kms”策略中配置winner_spark用户操作HDFS的权限。"winner_kms_key"策略添加完成。选择 Ranger KMS安装。
2025-02-25 09:33:16
1261
55
原创 【HBase】HBaseJMX 接口监控信息实现钉钉告警
JMX (Java管理扩展)提供了内置的工具,使您能够监视和管理Java VM。要启用远程系统的监视和管理,需要在启动Java VM时设置系统属性com.sun.management.jmxremote.port(希望通过该端口号启用JMX RMI连接)。} ]如上监控主要是HBase 内某个RegionServer 详细信息。具体有gc, scan,flush ,block,compaction 等细粒度的监控。
2025-02-18 11:38:24
2228
60
原创 【Hadoop】大数据权限管理工具Ranger2.1.0编译
一、下载 ranger源码并编译ranger官网由于Ranger不提供二进制安装包,故需要maven编译。安装maven查看版本信息修改maven源为阿里源或网易源下载 ranger源码开始编译二、报错信息。
2025-02-10 10:12:06
2577
56
原创 【Linux】华为服务器使用U盘安装统信操作系统
华为服务器智能管理系统(Huawei Intelligent Baseboard Management Controller,以下简称iBMC)是面向服务器全生命周期的服务器嵌入式管理系统。提供硬件状态监控、部署、节能、安全等系列管理工具,标准化接口构建服务器管理更加完善的生态系统。iBMC基于华为自研的管理芯片Hi1710/Hi1711,采用多项创新技术,全面实现服务器的精细化管理,具有高可靠、高能效、高可用、高安全、高开放的优势。
2025-01-21 15:37:13
5292
58
原创 【Linux】统信UOS服务器安装MySQL8.0(RPM)
统信1060a 操作系统对应 redhat8 ,我们下载对应MySQL RPM包。适配hive需要增加jar包,修改jdbc 连接URL。点击MySQL Community Server。可能报错如下,加上面的参数可避免。选择对应系统的MySQL版本号。
2025-01-13 09:30:05
4338
58
原创 【Hadoop】Hadoop安全之Knox网关
Apache Knox网关是一个用于与Apache Hadoop部署的REST api和ui交互的应用程序网关。Knox网关为所有与Apache Hadoop集群的REST和HTTP交互提供了一个单一的访问点。Apache Knox Gateway是一款用于保护Hadoop生态体系安全的代理网关系统,为Hadoop集群提供唯一的代理入口。Knox以类似反向代理的形式挡在集群前面,隐匿部署细节(例如端口号和机器名等),接管所有用户的HTTP请求(例如WEB UI 控制台访问和RESTful 服务调用),以
2024-12-30 09:17:19
12939
67
原创 【Ambari】使用 Knox 进行 LDAP 身份认证
Apache Knox网关是一个用于与Apache Hadoop部署的REST api和ui交互的应用程序网关。Knox网关为所有与Apache Hadoop集群的REST和HTTP交互提供了一个单一的访问点。Apache Knox Gateway是一款用于保护Hadoop生态体系安全的代理网关系统,为Hadoop集群提供唯一的代理入口。Knox以类似反向代理的形式挡在集群前面,隐匿部署细节(例如端口号和机器名等),接管所有用户的HTTP请求(例如WEB UI 控制台访问和RESTful 服务调用)
2024-12-25 08:49:19
2179
56
原创 【LDAP】LDAP概念和原理介绍
LDAP(Lightweight Directory Access Portocol),它是基于X.500标准的轻量级目录访问协议。目录是一个为查询、浏览和搜索而优化的数据库,它呈树状结构组织数据,类似文件目录一样。目录数据库和关系数据库不同,它有优异的读性能,但写性能差,并且没有事务处理、回滚等复杂功能,不适于存储修改频繁的数据。所以目录天生是用来查询的,就好象它的名字一样。
2024-12-16 09:27:26
5182
59
原创 【MySQL】RedHat8安装mysql9.1
安装包:mysql-enterprise-9.1.0_el8_x86_64_bundle.tar。日志中获取mysql初始密码。下载对应版本的jdbc。
2024-11-18 09:29:09
5518
82
原创 【DataSophon】集成dinky-release-1.16-1.0.1
Dinky 是一个开箱即用、易扩展,以 Apache Flink 为基础,连接 OLAP 和数据湖等众多框架的一站式实时计算平台,致力于流批一体和湖仓一体的探索与实践。致力于简化Flink任务开发,提升Flink任务运维能力,降低Flink入门成本,提供一站式的Flink任务开发、运维、监控、报警、调度、数据管理等功能。实时即未来,Dinky 为 Apache Flink 而生,让 Flink SQL 纵享丝滑。最后,Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。
2024-11-04 08:50:21
1702
83
原创 【DBeaver】连接带kerberos的hive[Apache|HDP]
配置C:\ProgramData\MIT\Kerberos5\krb5.ini文件,将KDC Server服务器上/etc/krb5.conf文件中的部分内容,拷贝到krb5.ini中,如果直接将krb5.conf文件更名为krb5.ini并替换krb5.ini,会出现文件格式问题导致MIT Kerberos客户端无法正常启动。因为DBeaver通过JDBC的方式访问Hive,底层也是基于Java环境,所以这里需要在DBeaver的配置中增加JVM的参数,主要添加关于Kerberos相关的配置。
2024-10-31 08:53:48
12326
69
原创 【Linux】 su 和 sudo 的区别剖析
su 命令介绍及主要用法2.1 参数-2.2 切换到指定用户2.3 参数-c三、sudo 命令介绍及主要用法3.1 主要用法3.2 sudo 工作原理四、二者的差异对比首先需要解释下 代表什么意思。su 表示 ,它提供的功能就是切换用户。官方释义: 的一般使用方法是:或者两种方法只差了一个字符 ,会有比较大的差异:光解释会比较抽象,我们看一个例子就比较容易理解了。我们从kangll 用户以 的方式切换到 root 用户,比较两种用户状态下环境变量中 的值( 命令不跟任何
2024-10-24 08:53:44
4712
68
原创 【DataSophon】DataSophon1.2.1 整合Zeppelin并配置Hive|Trino|Spark解释器
Zeppelin是Apache基金会下的一个开源框架,它提供了一个数据可视化的框架,是一个基于web的notebook。后台支持接入多种数据引擎,比如jdbc、spark、hive等。同时也支持多种语言进行交互式的数据分析,比如Scala、SQL、Python等等。本文从安装和使用两部分来介绍Zeppelin。
2024-10-09 08:44:20
7597
78
原创 【HDP】zookeeper未授权漏洞修复
ruok命令的输出仅仅只能表明当前服务器是否在运行,准确的说是2181端口打开着,同时四字命令执行流程正常,但不能代表ZooKeeper服务器是否运行正常。wchp命令和wchc命令非常类似,也是用于输出当前服务器上管理的Watcher的详细信息,不同点在于wchp命令的输出信息以节点路径为单位进行归组。srvr命令和stat命令的功能一致,唯一的区别的是srvr不会将客户端的连接情况输出,仅仅输出服务器自身的信息。srst是一个功能性的命令,用于重置所有服务器的统计信息。
2024-09-27 09:06:04
7117
67
原创 【Prometheus】jmx_prometheus_javaagent监控java应用
promethues采集数据的方法很多,常用的是通过各种exporter去主机采集,然后有些程序是没有相关的exporter,所以有些时候会通过脚本采集服务的数据,还有一些程序的metrics自身也没有暴露,通过 脚本采集的方法也不常用,工作中java程序又比较常见,所以有人开发了jmx_prometheus_javaagent.jar专门用来采集java程序metrics的。
2024-09-19 08:50:50
7256
76
原创 【DataSophon】Yarn配置历史服务器JobHistory和Spark集成historyServer
HistoryServer服务可以让用户通过Spark UI界面,查看历史应用(已经执行完的应用)的执行细节,比如job信息、stage信息、task信息等,该功能是基于spark eventlogs日志文件的,所以必须打开eventlogs日志开关。方便在xxxx:8088查看历史任务运行日志信息。
2024-09-13 08:55:15
7446
73
原创 【虚拟化】KVM-virsh离线工具进行客户机虚拟机磁盘访问
Red Hat Enterprise Linux 7 提供多个 libguestfs 工具,可访问、编辑和创建客户机虚拟机磁盘或其他磁盘镜像。这些工具有多种用途,包括:查看或下载位于客户机虚拟机磁盘中的文件。在客户机虚拟机磁盘上编辑或上传文件。
2024-09-09 10:50:53
2516
82
原创 【虚拟化】KVM存储卷和存储池
在KVM(Kernel-based Virtual Machine)虚拟化平台中,存储池(Storage Pool)是用来管理和存储虚拟机镜像及其相关数据的概念。存储池是一个由libvirt管理的文件、目录或存储设备,提供给虚拟机使用。存储池被分为存储卷,这些存储卷保存虚拟镜像或连接到虚拟机作为附加存储。libvirt通过存储池的形式对存储进行统一管理、简化操作。基于目录创建存储池(dir: Filesystem Directory),在本地创建一个测试目录,dir为存储池格式。查看池kvm池的信息。
2024-09-05 08:54:42
2777
72
原创 【虚拟化】KVM常用命令操作(virsh磁盘管理)
libvirt是用来管理虚拟机或虚拟化功能的软件集合,主要包括:libvirt API,libvirtd进程和virsh工具集三部分。最初的目的是为不同的hypervisor提供统一的管理接口。
2024-09-02 08:53:38
3011
74
原创 【虚拟化】KVM常用命令操作(virsh虚拟机常用操作之开关|连接|自启|克隆|快照)
libvirt是用来管理虚拟机或虚拟化功能的软件集合,主要包括:libvirt API,libvirtd进程和virsh工具集三部分。最初的目的是为不同的hypervisor提供统一的管理接口。(1)远程代理所有remote client发送来的命令,由该进程监测执行;(2)本地环境初始化libvirt服务的启停,用户connection的响应等;(3)根据环境注册各种Driver(qemu, xen, storage…)的实现查看libvirtd服务状态。
2024-08-27 09:22:55
3630
76
原创 【虚拟化】KVM命令行安装linux虚拟机
QEMU是个独立的虚拟化解决方案,从这个角度它并不依赖KVM。而KVM是另一套虚拟化解决方案,不过因为这个方案实际上只实现了内核中对处理器(Intel VT, AMD SVM)虚拟化特性的支持,换言之它缺乏设备虚拟化以及相应的用户空间管理虚拟机的工具,所以它借用了QEMU的代码并加以精简,连同KVM一起构成了另一个独立的虚拟化解决方案:KVM+QEMU。KVM可以运行多个其本身运行未改动的镜像的虚拟机,例如Windows,Mac OS X ,每个虚拟机都有各自的虚拟硬件,比如网卡、硬盘核图形适配器等。
2024-08-19 08:52:41
2611
76
原创 【虚拟化】KVM安装和WebVirtMgr创建虚拟机
KVM 的工作原理是使用 Linux 内核的虚拟化模块,将物理服务器划分为多个虚拟机。KVM 在 Linux 内核之上构建一个虚拟化层,该虚拟化层允许多个虚拟机共享物理服务器上的计算资源(如 CPU、内存和 0 设备)。在此虚拟化层中,每个虚拟机都被视为单独的计算机,每个虚拟机可以运行不同的操作系统和应用程序。KVM使用硬件虚拟化技术,即通过 intel VT-x 和 AMD-V 等 CPU 虚拟化指集的支持,将虚拟化性能提升到接近原生性能。此外,KVM 还使用 QEMU 作为其虚拟机监控程序,
2024-08-13 09:25:25
4871
72
原创 【虚拟化】KVM使用virt-manager部署及管理虚拟机
KVM 是 Kernel-based Virtual Machine 的缩写,是一种用于虚拟化的开源硬件虚拟化技术。它使用 Linux 内核的虚拟化模块,将物理服务器划分为多个虚拟机。KVM 允许虚拟机直接访问物理硬件资源,从而提供出色的性能和稳定性,同时还支持许多常见的操作系统和应用程序。 KVM 使用了 QEMU (Quick Emulator) 作为其默认的虚拟机监控程序。除此之外,KVM 还支持多种嵌入式和云计算场景,并且得到了广泛的应用。
2024-08-05 08:54:23
9366
88
原创 【虚拟化】KVM概念和架构
vm就是一个普通的linux进程,由linux内核调度程序进行调度,vm因此可以使用linux内核已有的功能。vm的执行本质就是vm中cpu的执行,因此vm的每个cpu就是普通的linux进程。
2024-07-29 08:48:58
5979
83
原创 【虚拟化】虚拟化简介 | Hypervisor介绍
虚拟化是一种能够更有效地利用物理计算机硬件的过程,是云计算的基础。虚拟化技术使用软件,在计算机硬件上创建一个抽象层,能够将单台计算机的硬件元素(处理器、内存、存储等)分成多个虚拟计算机(通常称为虚拟机 (VM))。 每个虚拟机都会运行自己的操作系统 (OS),其行为就像一台独立的计算机,即使它只在一部分实际底层计算机硬件上运行。
2024-07-26 09:22:39
9253
72
原创 【Linux】Wmware ESxi 无法创建 VMFS 数据存储 datastore2 - 无法更新 /vmfs/devices/disks/naa.5000c500c05b3276 的磁盘分区。
提示错误:主 GPT 表指出备份 GPT 位于磁盘末尾之外。如果磁盘缩小或分区表损坏,则可能会发生这种情况。通过在最后写入备份表来修复。ESxi 中选择 打开主机“启用 SSH”然后我们可以直接 远程到主机。创建新的VMFS数据存储。然后重新创建新盘完成。
2024-07-22 09:30:15
5079
64
原创 【堡垒机】jumpserver安装和基本使用
JumpServer 是全球首款完全开源的堡垒机, 使用 GNU GPL v2.0 开源协议, 是符合 4A 的专业运维审计系统。为互联网企业提供了认证,授权,审计,自动化运维等功能。JumpServer 使用 Python / Django 进行开发, 遵循 Web 2.0 规范, 配备了业界领先的 Web Terminal 解决方案, 交互界面美观、用户体验好。JumpServer 采纳分布式架构, 支持多机房跨区域部署, 中心节点提供 API, 各机房部署登录节点, 可横向扩展、无并发访问限制。
2024-07-17 08:59:56
4648
74
原创 【Linux】WMware ESXi 插入新磁盘并扩容
概念在 Linux 中,每一个硬件设备都映射到一个系统的文件,对于硬盘、光驱等 IDE 或 SCSI 设备也不例外。Linux把各种 IDE 设备分配了一个由 hd 前缀组成的文件;而对于各种 SCSI 设备,则分配了一个由 sd 前缀组成的文件。磁盘分区是将物理磁盘划分为独立的逻辑区域,每个区域可以作为一个独立的文件系统挂载到系统中。通过磁盘分区,我们可以更好地组织和管理磁盘空间。逻辑卷管理(LVM)在虚拟机挂载新的磁盘选择添加新盘位置浏览选择[datastore2]磁盘置备中,选择硬盘的格式。
2024-07-11 09:16:28
8879
73
原创 【DataSophon】DataSophon1.2.1 ranger usersync整合
一、简介一、简介如下是DDP1.2.1默认有的rangerAdmin, 我们需要将rangerusersync整合进来 ,实现将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理。
2024-07-08 09:20:11
3023
70
python基础语法入门
2024-05-01
2024 Redis面试宝典
2024-05-01
HBase数据库性能调优
2024-05-01
全国计算机二级十套历年真题
2024-04-30
eclipse-jee-2018-09-win32-x86-64.zip
2019-08-12
Java最新大厂面试宝典
2023-10-11
程序猿面试简历模板精选
2023-10-10
npp.6.9.2.Installer.zip
2019-08-12
dbeaver-ce-6.3.1-win32.win32.x86_64.zip
2020-02-14
SublimeText3_Build3083_x64_XiaZaiBa.zip
2019-08-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅