Android分布式编译学习(一)distcc实现分布式编译 —— Ubuntu12.04上部署distcc分布式编译

原创 2013年12月05日 17:42:35

Android代码庞大,如果你是做android系统开发的会经常做full build, 代码编译时间一般4核CPU你得2个小时左右吧,一天你也就编译那么几次了得了,象我们用的40核的服务器一般做full build 18分钟左右,但是一般的工程师在自己的PC上如何编译的更快呢?网上查看了一些资料大部分都是用的distcc,distcc已经好几年的使用时间了,其主要是针对C, C++进行分布式编译的,而且效果很不错。但是Android代码除了linux kernel还有一堆的库是C和C++外,很大一份的代码都是JAVA代码,distcc无法针对java做分布式编译。distcc就是利用组建编译PC群来进行分布式编译。


话说:

distcc is a program to distribute builds of C, C++, Objective C or Objective C++ code across several machines on a network. distcc should always generate the same results as a local build, is simple to install and use, and is usually much faster than a local compile.


奋斗

在类 Unix 系统上,distcc 使用 sendfile 系统调用在不同工作节点之间传送文件,尽管这种网络文件传输会占用一定的时间,他们对工作机的 CPU 资源占用却很小,而且这种分发任务的方式能够简化构建环境的配置,distcc 在这方面同早期的一些基于共享文件系统的分布编译环境 (dmake, pvmmake 等等 ) 相比几乎0 配置。
distcc 对各个编译节点的本地系统库及头文件基本没有要求,即使在不同的节点上这些组件的版本不同也不会影响到最终编译结果的正确性,实际情况是 distcc 会在本地 (client 机 ) 完成存在版本依赖的编译任务,这一点的实现原理简要说来式因为 distcc 借助了 C/C++ 编译驱动程序的以下特点:
1. cpp(C 预处理器 ) [cpp [arguments] .c 源文件输入 .i 中间文件输出 ]
2. ccl(C 编译器 ) [ccl .i 中间文件输入 .c 源文件输入 [arguments] –o .s 汇编文件输出 ]
3. as( 汇编器 ) [as [arguments] –o .o 目标文件输出 .s 汇编文件输入 ]
这个在本地做过预处理的 ASCII 源文件及其他命令行选项即可唯一确定一个目标文件,而与此任务在哪台机器上运行无关,通过分发这种任务到各个节点,即可消除对头文件的依赖。同理 distcc 通过在任务的分发节点做链接来消除对库文件的依赖。


一.  Android4.4 分布式编译部署:

1. 安装distcc 

    sudo apt-get install distcc

    和 distcc图形界面的监测程序

    apt-get install distccmon-gnome

2. 修改distcc的配置文件 

    sudo vi /etc/default/distcc

    修改STARTDISTCC的值为true。
    STARTDISTCC="true"
    修改 ALLOWEDNETS="192.168.0.0/16" (192.168.0.0/16表示只要前16位为192.168的合法IP地址都可以请求编译服务。
    LISTENER="192.168.4.116" (server的ip,经验证每个PC必须填写自己的IP)


3. 将android的交叉编译工具添加到distcc启动配置中

    sudo vi /etc/init.d/distcc

    PATH=/usr/local/bin:***:/home/username/android-4.4_r1/prebuilts/gcc/linux-x86/arm/arm-linux-androideabi-4.7/bin:


4. 创建交叉编译的软连接到distcc

    cd /usr/lib/distcc
    ln -s ../../bin/distcc arm-linux-androideabi-addr2line
    ln -s ../../bin/distcc arm-linux-androideabi-ar
    ln -s ../../bin/distcc arm-linux-androideabi-as
    ln -s ../../bin/distcc arm-linux-androideabi-c++
    ln -s ../../bin/distcc arm-linux-androideabi-c++filt
    ln -s ../../bin/distcc arm-linux-androideabi-cpp

    ******

    ******

5. 修改Android的编译脚本,指定使用distcc

    将build/core/combo/TARGET_linux-arm.mk中的TARGET_TOOLS_PREFIX变量改为/usr/lib/distcc/arm-linux-androideabi-


6. 将交叉编译路径添加到PATH中

    export PATH=/home/username/android-4.4_r1/prebuilts/gcc/linux-x86/arm/arm-linux-androideabi-4.7/bin:$PATH


7. 将distcc添加到交叉编译路径的第一个

    export PATH=/usr/lib/distcc:$PATH


8.  添加组件PC群的IP

    export DISTCC_HOSTS=”192.168.4.88 192.168.4.116 192.168.4.234” (可添加多个组织的ip)


9. 各个PC都需要将distcc服务启动

    sudo service distcc start

    sudo service distcc start/stop/restart (启动,停止,重启)


10. 开始编译

    make -j8 CC=distcc 调整主机数和本机资源情况调整job数目,以获取最快,这个需要继续研究规律。


11. 图形化监控测试工具

      distccmon-gnome



3台4核PC进行编译几次下来都在1h22m, 1h24m,基本快了二十多分钟,继续探究优化中。

model name    : Intel(R) Core(TM) i5-2400 CPU @ 3.10GHz


distcc分布式编译 Android 4.4
测试 PC数 开始时间 结束时间 耗时
第一轮 2台 12/5/2013 11:54 12/5/2013 13:16 82分钟
第二轮 3台 12/5/2013 15:04 12/5/2013 16:28 84分钟
第三轮 3台 12/6/2013 10:04 12/6/2013 11:26 82分钟

Android 4.4 系统普通编译
测试 PC数 开始时间 结束时间 耗时
第一轮 1 12/5/2013 16:43 12/5/2013 18:27 106分钟

有文章介绍: distcc 会安装如下可执行文件:

  • distcc: 整个编译任务通常由一台机器发起,在 distcc 编译环境下,这台机器被称为 client,client 必须使用 distcc 来替代原有的 GNU 编译器命令,由于 distcc 的后台编辑程序仍然是 GNU 编译器,distcc 与 gcc, g++, cc, c++ 等程序的编译参数兼容。distcc 必须与 Make 命令的 -j 参数协同使用,client 机通过指定此参数来定义并发编译的任务数。在默认情况下,一台编译机的 distcc 允许的并发任务的数量是 CPU 数量 +2。
  • distccd: distccd 是运行在编译场内各个节点上的 distcc 代理程序,distccd 的常用参数如下:
    • -j: 指定可以在本节点上运行的最大任务数;
    • -N: 如果编译节点上运行有其他重要任务,可以通过指定 -N 参数来调整编译进程的运行优先级;
    • -a: 指定 distccd 可以接受来自哪些节点的连接请求,-a 参数的值可以是一个网段,也可以是所有编辑节点主机名 (IP 地址 ) 的列表。
  • distccmon-text: 可以通过运行 distccmon-text 来通过一个字符界面监控整个编译任务,此命令唯一的参数是监控任务的刷新间隔 ( 秒 )。
  • distccmon-gnome: 是一个图形化的监控前端,下图是此程序的一个运行实例。其中,任务进度指示条颜色的意义分别为:绿色:compiling;紫色:preprocessing;蓝色:receiving;橙色:connecting;白色:idle;


负载均衡还没有研究,等研究完后继续整理。




参考文章:

搭建distcc分布式编译Android源码

Android基于distcc的分布式编译及负载均衡的实现

http://code.google.com/p/distcc/

http://distcc.googlecode.com/svn/trunk/doc/web/index.html

http://os.chinaunix.net/a2009/0520/1027/000001027449.shtml 分布式编译环境中的负载均衡


版权声明:本文为博主原创文章,未经博主允许不得转载。

Asterisk安装指南

 1 Asterisk及相关软件安装1.1 下载Asterisk及相关软件可从Asterisk官方网站http://www.asterisk.org/downloads下载;也可以从http://do...

【分析总结框架记录】使用distcc进行分布式编译来提高编译速度

最近公司的项目快上线了《战甲online》 由于在GameServer中添加的业务模块太多,导致编译速度越来越慢。早期的时候通过C++的前置声明可以提高一些。但是后期发现还是跟不上。 公司的主程安排我...

Android基于distcc的分布式编译及负载均衡的实现

distcc简介 distcc distcc源起于著名开源项目samba,是一款有着较长历史的跨平台开源分布式编译解决方案。 对于大多数c语言及其衍生语言来说,编译过程主要分为三个步...

用distcc和dmucs在ubuntu 10.04上搭建分布式编译环境

首先需要三台PC,如PC ABC, 在三台机器上都要安装distcc 和 dmucs sudo apt-get install distcc dmucs   假设三台PC的ip...
  • tedious
  • tedious
  • 2013年03月11日 14:59
  • 2492

基于 Distcc 的android分布式编译环境的搭建

关于Ditscc分布式编译环境的搭建,网上也有不少文章,但是基本上都过时了。所以看了很多文章,走了不少弯路,最后总算梳理清楚了一条正确的环境搭建的步骤,而且可以实现zeroconf。本文不涉及负载均衡...

Adnroid系统分布式编译: Ubuntu系统,ccache + distcc + rant

Android工程代码量很大,在普通的个人PC上编译甚至在配置较低的服务器上的编译速度都非常慢,通常完全编译在1h~3h左右。为了加快编译速度,想到了建立distcc分布式编译环境...
  • ace_an
  • ace_an
  • 2014年12月12日 13:33
  • 1205

基于 Distcc 的android分布式编译环境的搭建

关于Ditscc分布式编译环境的搭建,网上也有不少文章,但是基本上都过时了。所以看了很多文章,走了不少弯路,最后总算梳理清楚了一条正确的环境搭建的步骤,而且可以实现zeroconf。本文不涉及负载均衡...

搭建distcc分布式编译Android源码

转自:http://mcuos.com/thread-5339-1-1.html 简介 distcc 在日常工作中常为我们使用来解决大型项目在单一工作站上编译较慢的...

分布式编译工具distcc-2.18.3

  • 2010年04月01日 22:21
  • 1.78MB
  • 下载

搭建distcc分布式编译环境

简介 distcc 在日常工作中常为我们使用来解决大型项目在单一工作站上编译较慢的问题。其主要用于对 C, Object C 以及 C++ 代码进行并行编译,将可以并行的编译任务分布于编译集群中...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Android分布式编译学习(一)distcc实现分布式编译 —— Ubuntu12.04上部署distcc分布式编译
举报原因:
原因补充:

(最多只允许输入30个字)