Linux和Windows集群中部署HTCondor

YWP_2016

已于 2024-02-29 14:29:45 修改

阅读量952

点赞数 27

分类专栏：高通量计算文章标签： HTCondor 高通量计算分布式

于 2024-02-27 13:40:01 首次发布

本文链接：https://blog.csdn.net/YWP_2016/article/details/136320125

版权

高通量计算专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1、集群架构


	操作系统	IP地址
1*	Ubuntu22.04	192.168.1.74
2	Ubuntu22.04	192.168.1.60
3	Ubuntu22.04	192.168.1.67
4	Ubuntu20.03	192.168.1.136
5	Windows10	192.168.1.20

2、HTCondor版本

为了兼容Ubuntu22.04，采用了HTCondor10.0.9版本

官网地址：HTCondor DownloadHTCSS is a specialized workload management system for compute-intensive jobs. Built to be flexible, expressive, and compatible with Grid and Cloud computing environments HTCSS was made to increase your Computational Throughput.https://htcondor.org/htcondor/download/

3、Linux系统安装

采用Ubuntun22.04作为中央管理节点，IP地址为192.168.1.74

其余电脑全部设置为执行点和提交点。

3.1、HTCondor安装

在所有Ubuntu电脑中设置：

wget -qO - https://research.cs.wisc.edu/htcondor/repo/keys/HTCondor-10.0-Key | sudo apt-key add -

如果更换版本，密钥也得更换，此处用的锁10.0版本。

echo "deb [arch=amd64] https://research.cs.wisc.edu/htcondor/repo/ubuntu/10.0 jammy main" | sudo tee /etc/apt/sources.list.d/htcondor.list

apt-get update
apt-get install htcondor

3.2、中央管理节点配置

打开防火墙9618端口

ufw allow 9618/tcp

如果ufw服务没开启：

ufw enable

编辑condor_config文件

vim /etc/condor/condor_config

在condor_config文件中加上:

ALLOW_WRITE =*

ALLOW_READ=*

CONDOR_HOST=$(FULL_HOSTNAME)

DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD

ALLOW_ADVERTISE_MASTER=$(ALLOW_WRITE)
ALLOW_ADVERTISE_STARTD=$(ALLOW_WRITE)
ALLOW_ADVERTISE_SCHEDD=$(ALLOW_WRITE)

DAEMON_LIST设置机器的进程:
示例：
   中央管理主机（可提交可执行）
   DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD
   中央管理主机（只提交不执行）
   DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD
   作业提交主机
   DAEMON_LIST = MASTER, SCHEDD
   作业执行主机
   DAEMON_LIST = MASTER, STARTD

安全配置最后介绍，Linux、Windows类似

3.3、其他节点配置

在其余节点(执行点、提交点)下载完HTCondor后，编辑condor_config文件，将host指向中央管理节点，我这里是192.168.1.74，再配置相关节点进程。

vim /etc/condor/condor_config

CONDOR_HOST=192.168.1.74

#下面三个三选一

DAEMON_LIST = MASTER, SCHEDD #作业提交主机

DAEMON_LIST = MASTER, STARTD #作业执行主机

DAEMON_LIST = MASTER, SCHEDD,STARTD #作业提交+执行主机

安全配置最后介绍，Linux、Windows类似

4、Windwos系统安装

Windows系统直接到官网下载相应版本msi文件即可。我这里是10.0.9版本

https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/Windows详细安装教程参考：

https://www.cnblogs.com/charlee44/p/12207128.htmlhttps://www.cnblogs.com/charlee44/p/12207128.html注意在第一步选择创建condor池还是加入condor池时，选择join an existing HTCondor Pool.

Hostname of Central Manager选择中央管理节点ip，我这里填的是192.168.1.74.

后面根上面博客里教程一样即可。

如果后续需要修改节点进程，在安装目录下的condor_config中修改DAEMON_LIST即可。

5、安全配置

安全配置，Linux与Windows一样。

Linux到/etc/condor下修改condor_config文件

Windows到安装目录下修改condor_condif文件。

为了方便，我没有采用IDTOKENS和Password身份验证。所以注释掉在condor_config中所有关于安全的配置，例如：use SECURITY等。

如果需要更安全的验证，请自行去官网参照官方手册配置：
Security — HTCondor Manual 23.4.0 documentationhttps://htcondor.readthedocs.io/en/latest/admin-manual/security.html#password-authenticationLinux可能会有个config.d文件夹，如何里面有配置文件，编辑这个配置文件看看是否有关于安全的配置，如果有注释掉。

在condor_config中加入：