安装使用分布式C/C++编译器distcc

置顶 已于 2023-11-18 17:41:38 修改
阅读量2.2k 收藏 3
点赞数 1
分类专栏： 软件 文章标签： 分布式 c++ debian
于 2022-09-22 17:27:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011233383/article/details/126995268
版权

问题引入

C/C++语言是编译型的语言，随着项目的逐渐增大，会让项目的编译时间显著变长。这对写代码而言是一个糟糕的体验。因为是快速检查代码循环的时间变长，打断查找问题的思路。
尤其是在使用各种措施，比如前向声明，少使用模板（减少预编译时间）的情况下，依然不能显著减少编译时间。那么分布式编译就有了用武之地

distcc

distcc是一个开源的C/C++的分布式编译工具， 使用C/S架构，将代码基于分布式编译，从而加快编译速度。按照distcc的官网说法，可以布置在pc上，并且设置上限，来使用一些额外的算力。

debian的安装

最喜欢的linux发行版就是Debian。所以，我们用debian作为例子。debian需要安装如下的dist相关的包。
Note: 所有加入分布式编译的服务器都需要按照如下处理

debian version

➜  ~ sudo lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description:    Debian GNU/Linux 11 (bullseye)
Release:        11
Codename:       bullseye

需要安装的包

~ sudo apt list --installed | grep distcc

可以得到如下的输出：

#pump模式，相对于基本模式，会把预处理的部分也会分布式到各自的server。
distcc-pump/stable,now 3.4+really3.3.5-3 amd64 [installed]
#distcc本尊
distcc/stable,now 3.4+really3.3.5-3 amd64 [installed]
#gnome gui下的一个小工具，可以查看分布式编译器的工作状态
distccmon-gnome/stable,now 3.4+really3.3.5-3 amd64 [installed]

安装命令

sudo apt install update
sudo apt install distcc-pump distcc distccmon-gnome

Note 如果觉得apt的命令装包太慢，移步去看看apt-fast这个小工具

起服务

不通过源码安装，而通过上述方式安装有一个优点就是相应的启动脚本，以及配置脚本已经就位到相应的位置，只需要稍微配置一下就可以了。

修改配置脚本

distcc的配置文件在/etc/init.d/distcc
配置文件的选项都有很好的注释，可以直接阅读。

# Defaults for distcc initscript
# sourced by /etc/init.d/distcc

#
# should distcc be started on boot?
#
# STARTDISTCC="true"

STARTDISTCC="true"

#
# Which networks/hosts should be allowed to connect to the daemon?
# You can list multiple hosts/networks separated by spaces.
# Networks have to be in CIDR notation, e.g. 192.168.1.0/24
# Hosts are represented by a single IP address
#
# ALLOWEDNETS="127.0.0.1"

ALLOWEDNETS="127.0.0.1 192.168.0.6"

#
# Which interface should distccd listen on?
# You can specify a single interface, identified by it's IP address, here.
#
# LISTENER="127.0.0.1"

LISTENER="192.168.0.6"

#
# You can specify a (positive) nice level for the distcc process here
#
# NICE="10"

NICE="10"

#
# You can specify a maximum number of jobs, the server will accept concurrently
#
# JOBS=""

JOBS=""

#
# Enable Zeroconf support?
# If enabled, distccd will register via mDNS/DNS-SD.
# It can then automatically be found by zeroconf enabled distcc clients
# without the need of a manually configured host list.
#
# ZEROCONF="true"

ZEROCONF="false"
重启服务

修改配置之后需要重新启动服务
debian的命令如下，distcc的启动脚本在/etc/init.d/distcc

sudo /etc/init.d/distcc start/status/stop/restart

启动之后可以看服务的状态，比如我的

➜  ~ sudo /etc/init.d/distcc status
● distcc.service - LSB: simple distributed compiler server
     Loaded: loaded (/etc/init.d/distcc; generated)
     Active: active (running) since Tue 2022-09-20 14:18:54 CST; 2 days ago
       Docs: man:systemd-sysv-generator(8)
    Process: 62538 ExecStart=/etc/init.d/distcc start (code=exited, status=0/SUCCESS)
      Tasks: 23 (limit: 52901)
     Memory: 21.7M
        CPU: 1min 59.368s
     CGroup: /system.slice/distcc.service
             ├─62545 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62546 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62593 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62600 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62614 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62662 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62669 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62676 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62683 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62690 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1  --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62699 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1  --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62706 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1  --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62713 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1  --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─62943 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 10.182.72.55 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─63217 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─63479 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─63747 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 -allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             ├─64017 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10
             └─64283 /usr/bin/distccd --pid-file=/var/run/distccd.pid --log-file=/var/log/distccd.log --daemon --allow 127.0.0.1 --allow 192.168.0.6 --listen 192.168.0.6 --nice 10

Sep 20 14:18:54 systemd[1]: Starting LSB: simple distributed compiler server...
Sep 20 14:18:54 distcc[62538]: Starting Distributed Compiler Daemon: distccd .
Sep 20 14:18:54 systemd[1]: Started LSB: simple distributed compiler server.
其他配置文件

在编译的时候都会建议使用DISTCC_HOSTS环境变量，也可以把他们写入distcc的配置文件/etc/distcc/hosts
比如我自己的

➜  ~ cat /etc/distcc/hosts
# --- /etc/distcc/hosts -----------------------
# See the "Hosts Specification" section of
# "man distcc" for the format of this file.
#
# By default, just test that it works in loopback mode.
192.168.0.6,cpp,lzo
distcc1,cpp,lzo
distcc2,cpp,lzo

hostname和ip的映射写入/etc/hosts即可。

客户端启用

make -j16 CC=/usr/bin/distcc CXX=/usr/bin/distcc即可

lsdistcc

这个小工具可以查看用distcc+number命名的distcc server是否在线。
更多信息查看 man lsdistcc

one more thing

Suse基于distcc开发了一个有中心节点的编译服务器，可以优先使用比较空闲的服务器，他的名字叫做
icecc/icecream

前进吧-程序员
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
distcc：适用于C，C ++和Objective C的分布式构建
02-09
distcc-一个免费的分布式C / C ++编译器系统 马丁·波尔 当前文档： : 正式 Fergus Henderson，Nils Klarlund，Manos Renieris和Craig Silverstein（Google Inc.）添加了“泵”功能 distcc是一个程序，用于在网络上的多台计算机上分发C或C ++代码的编译。 distcc应该始终产生与本地编译相同的结果，易于安装和使用，并且通常比本地编译快两倍或更多倍。 与其他分布式构建系统不同，distcc不需要所有机器共享文件系统，具有同步时钟或安装相同的库或头文件。 机器可以运行不同的操作系统，只要它们具有兼容的二进制格式或交叉编译器即可。 默认情况下，distcc为每个作业通过网络发送完整的预处理源代码，因此，志愿机器所需要的只是它们正在运行distccd守护程序，并且已安装了适当的编译器。 在distc
c#毕业设计源码下载-distcc:C，C++和ObjectiveC的分布式构建
05-19
c＃毕业设计源码下载distcc-一个免费的分布式C / C ++编译器系统 马丁·波尔（Martin Pool） 当前文件：正式 Fergus Henderson，Nils Klarlund，Manos Renieris和Craig Silverstein（Google Inc.）添加了“泵”功能 ...
分布式编译distcc
hzgdiyer的专栏
12-20 1232
工程代码编译速度太慢，决定采用分布式编译来提高编译速度.distcc ，请参考。
distcc - 分布式C/C++编译系统：加速你的开发流程
gitblog_00011的博客
05-12 463
distcc - 分布式C/C++编译系统：加速你的开发流程 项目地址:https://gitcode.com/distcc/distcc 项目介绍 (distcc)[https://github.com/distcc/distcc] 是一个免费的分布式C/C++编译系统，由Martin Pool创建并维护。该项目旨在利用网络中多台机器的计算资源，提高代码编译的速度和效率，尤其适合大规模项目或团队...
C++流行编译器的基础认识
最新发布
星辰火之梦
05-28 502
C++有许多流行的编译器，每个编译器都有其独特的特点和用途。: GCC是一个开源的编译器套件，支持多种编程语言，包括C和C++。它是一个功能强大且广泛使用的编译器，在Linux系统中尤为流行。: MSVC是Microsoft提供的专有的C++编译器，通常与Visual Studio集成使用。它是Windows平台上主要的C++编译器之一。: Clang是一个开源的C、C++和Objective-C编译器，由LLVM项目开发。Clang的优点包括更快的编译速度、更好的错误消息和诊断等。
十款在线C++编译器大揭秘：编码利器、性能测评、实时协作一网打尽
Francis的博客
12-05 6954
在线编译器目录1.wanbox2.onlinecompilers3.quick-bench4.cppinsights5.godbolt6.coliru7.rextester8.ideone9.paiza10.judge0最近自己环境出了点问题，想找点在线的编译器去跑，并且支持不同的cpp标准，于是乎有了这篇文章～1.wanbox特性：支持多种语言、多个版本，支持分享。这个网站的特点在于支持的C++...
Distcc 介绍
翊轩LeOn
05-04 2716
Distcc 介绍 distcc是一个非常快且免费的分布式C/C++编译工具，distcc分为两个部分： distcc：distcc是一个类似客户端的程序，不过它的角色是个编译器，可以让C/C++代码在很多网络服务器上进行分布式的编译，就像本地编译一 样，当然比本地编译快很多。 distccd：distccd是一个守护进程，每个网络服务器上都需要安装这个守护进程，用来处理di
C++入门教程||常用C++编译器推荐
爱编程的鱼的博客
12-16 1367
LLVM是构架编译器(compiler)的框架系统，以C++编写而成，用于优化以任意程序语言编写的程序的编译时间(compile-time)、链接时间(link-time)、运行时间(run-time)以及空闲时间(idle-time)，对开发者保持开放，并兼容已有脚本。Clang 的开发目标是提供一个可以替代 GCC 的前端编译器。DigitalMars是一款高性能的编译器，功能包含，快速编译/链接时、强大的优化技术、Contract设计、完整的资源库、浏览HTML文档，反汇编、库、资源编译器等。
分布式编译
jxxfqyy的专栏
11-25 1073
减少基于 C/C++ 的系统的编译时间是所有发布和编译工程师所面对的主要挑战之一。本文研究一些可通过并行活动来加快编译过程的开源工具选项：将编译过程分布到本地网络中的多台机器上。本文中的讨论主要集中于 GNU make，因为它使用比较广泛。 GNU make 中的 –j 选项 默认情况下，make 是一个顺序工作的工具。它按次序调用底层编译器来编译 C/C++ 源。通常，C/C++ 源
icecream:带有中央调度程序的分布式编译器可共享构建负载
05-02
cpuinfo并失败支持平台在异构环境中使用冰淇淋使用冰淇淋进行交叉编译创建交叉编译器包使用冰淇淋对嵌入式目标进行交叉编译使用冰淇淋在同一环境中交叉编译多个目标如何将冰淇淋与ccache结合调试输出一些数字冰淇淋...
计算智能技术在分布式多编译器中的应用分析.pdf
08-11
随着计算智能技术的不断发展，分布式编译器系统将会更加智能化和自动化，能够更好地适应复杂的开发环境和多样化的编译需求。此外，结合云计算和边缘计算等新技术，未来的分布式编译系统有望进一步提高编译效率，降低...
分布式编译工具distcc-2.18.3
04-01
distcc-2.18.3 分布式编译工具 distcc-2.18.3 分布式编译工具
使用distcc进行分布式编译来提高编译速度。
JCracker 在路上
09-08 7433
最近公司的项目快上线了《战甲online》 由于在GameServer中添加的业务模块太多，导致编译速度越来越慢。早期的时候通过C++的前置声明可以提高一些。但是后期发现还是跟不上。 公司的主程安排我来搭建一个分布式编译环境。 环境：centos6.3  1. 要使用distcc当然需要先去安装。这里使用官方源码编译安装。 下载地址：https://code.google.com/p/dist
distcc+pump
weixin_34380781的博客
11-22 398
服务器端(计算机名为：zhimingubtpc.local)： $ sudo apt-get install distcc $ sudo apt-get install distcc-pump $ sudo vi /etc/default/distcc 按a或i进入编辑模式 STARTDISTCC="true" （默认为false） ALLOWEDN...
Adnroid系统分布式编译： Ubuntu系统，ccache + distcc + rant
ace_an的专栏
12-12 3250
Android工程代码量很大，在普通的个人PC上编译甚至在配置较低的服务器上的编译速度都非常慢，通常完全编译在1h～3h左右。为了加快编译速度，想到了建立distcc分布式编译环境
C++分布式框架研究（一）
comhaqs的专栏
11-21 6352
近期打算使用C++写一个简单的分布式框架，以便提高自己的技术水平。框架计划采用grpc作为通信底层，无中心管理服务的形式。
Distcc后门漏洞原理
04-03
Distcc是一个分布式C/C++编译器，可以将编译任务分发到多台计算机上进行并行编译，加快编译速度。然而，Distcc存在一个后门漏洞，攻击者可以利用该漏洞在不经过授权的情况下获得远程执行权限。 该漏洞的原理是Distcc在默认情况下会监听一个TCP端口（默认为3632），并且没有对外部访问进行任何限制。攻击者可以通过直接连接该端口或者使用扫描工具扫描网络中开放的3632端口，来发现存在Distcc服务的计算机。 攻击者利用该漏洞的方法是，通过发送一个特定的编译请求到Distcc服务，该编译请求中包含了一个恶意的编译命令，例如执行一个恶意的Shell脚本或者下载并执行一个远程恶意程序。Distcc服务接收到该编译请求后会自动执行其中的命令，导致攻击者获得远程执行权限。 为了避免Distcc后门漏洞的风险，管理员可以通过以下措施进行防范： 1. 使用防火墙限制外部访问Distcc服务的TCP端口。 2. 配置Distcc服务只监听本地网络接口，不对外部网络开放服务。 3. 定期更新Distcc软件并及时应用安全补丁。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值