本地源的搭建（Apt、Pypi、Rubygem）

很多情况下，尤其是在公司工作，内部网络与外部网络是不相通的，因此经常需要在本地构建源。

（注：本文内容是在UbuntuServer14.04环境下应用的，部分命令请做相应调整，比如apt-get）

APT本地源的搭建

本节介绍使用apt-mirror搭建apt本地源的方法，简单几步就行：

（注：请先准备100G以上的空间来保存镜像文件，是的你没有看错，100G，建议选个快些的网络吧...）

首先，安装apt-mirror

$ sudo apt-get install apt-mirror

apt-get命令的源配置位于/etc/apt/sources.list，而apt-mirror命令的源配置位于/etc/apt/mirror.list，很好记吧。

（mirror.list文件中配置的就是下载apt源所有文件的地址，建议采用国内的源，这里以阿里云的源为例，其他的见后边附1）

############# config ################## # 以下注释的内容都是默认配置，如果需要自定义，取消注释修改即可 set base_path /var/spool/apt-mirror # # 镜像文件下载地址 # set mirror_path $base_path/mirror # 临时索引下载文件目录，也就是存放软件仓库的dists目录下的文件（默认即可） # set skel_path $base_path/skel # 配置日志（默认即可） # set var_path $base_path/var # clean脚本位置 # set cleanscript $var_path/clean.sh # 架构配置，i386/amd64，默认的话会下载跟本机相同的架构的源 set defaultarch amd64 # set postmirror_script $var_path/postmirror.sh # set run_postmirror 0 # 下载线程数 set nthreads 20 set _tilde 0 # ############# end config ############## # Ali yun（这里没有添加deb-src的源） deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse   clean http://mirrors.aliyun.com/ubuntu

准备好之后就可以同步了：

$ sudo apt-mirror

然后就是漫长的等待了，同步的镜像文件目录为/var/spool/apt-mirror/mirror/mirrors.aliyun.com/ubuntu/，当然如果增加了其他的源，在/var/spool/apt-mirror/mirror目录下还有其他的地址为名的目录。

同步完成之后，放到httpd/apache2等http服务中就行，以apache2为例：

$ sudo apt-get install apache2

由于Apache2的默认网页文件目录位于/var/www/html，因此，可以做个软链接

$ sudo ln -s /var/spool/apt-mirror/mirror/mirrors.aliyun.com/ubuntu /var/www/html/ubuntu

然后就可以通过如下地址访问了

http://[host]:[port]/ubuntu

如果看到地址下边是dist/和pool/两个目录就OK了，然后放到/etc/apt/sources.list中试试吧

# Local Source deb http://[host]:[port]/ubuntu/ trusty main restricted universe multiverse deb http://[host]:[port]/ubuntu/ trusty-security main restricted universe multiverse deb http://[host]:[port]/ubuntu/ trusty-updates main restricted universe multiverse deb http://[host]:[port]/ubuntu/ trusty-proposed main restricted universe multiverse deb http://[host]:[port]/ubuntu/ trusty-backports main restricted universe multiverse

执行更新命令"apt-get update"，然后享受风驰电掣的速度吧。

Pypi本地源的搭建

使用Bandersnatch进行完整同步

本节介绍使用Bandersnatch进行镜像同步的方法，还是善意提醒一下，您需要准备大约120G以上的空间，对，您又没看错，这还是2014年的情况。

假定您已经安装python以及python-pip，这里我们用virtualenv来进行安装与使用。

首先安装virtualenvwrapper

$ pip install virtualenvwrapper

把下面这句加到~/.bashrc里面，如不嫌麻烦，也可以每次都手动执行。

source /usr/local/bin/virtualenvwrapper.sh

然后首先source一下.bashrc，第一次会创建一批文件（夹）到~/.virtualenvs/

$ source ~/.bashrc

建立一个virtualenv，会自动进入该env，会看到命令行前边有（bandersnatch）

$ sudo mkvirtualenv bandersnatch

安装bandersnatch

(bandersnatch)$ pip install -r https://bitbucket.org/pypa/bandersnatch/raw/stable/requirements.txt (bandersnatch)$ pip install bandersnatch (bandersnatch)$ bandersnatch mirror

第一次运行“bandersnatch mirror”命令会提示您进行相关配置，编辑/etc/bandersnatch.conf

[mirror] ; The directory where the mirror data will be stored. directory = /var/spool/pypi ...... ......

directory即镜像文件要下载到的位置，master是镜像源，之前是尝试配置国内的源的（由于要求https的地址，只能添加清华大学的源，master = https://pypi.tuna.tsinghua.edu.cn），但是发现好像只能镜像目录或索引，无奈还是用回官方源。

然后再次运行“bandersnatch mirror”命令即可开始下载。

$ bandersnatch mirror

（注：由于现在还在镜像同步中，下一步如何操作等同步完再补上）

只用pip2pi工具仅同步所需的Pypi包

全部下载所有的镜像文件有时候确实是比较耗时的，那么也可以仅同步所需的Pypi包。

首先，安装pip2pi工具

$ pip install pip2pi

或

$ git clone https://github.com/wolever/pip2pi $ cd pip2pi $ python setup.py install

然后，创建存放软件包的仓库

$ sudo mkdir /var/spool/pypi-mirror

之后就可以下载软件包了，可以单个下载，也可以批量下载，比如

$ pip2tgz /var/spool/pypi-mirror/ routes==1.12.3 $ pip2tgz /var/spool/pypi-mirror/ -r requirements.txt

requirements.txt文件是一个待下载软件包列表，比如openstack需求的包列表。

软件包下载后，建立索引：

$ dir2pi /var/spool/pypi-mirror/

若软件需求有更新，可以如下更新索引：

$ pip2acmeco uliweb=0.2.6 $ pip2acmeco -r list/requirements.txt

最后，将库地址配置给http服务就行了，方法同apt的类似，也可以采用自己的服务软件，比如nginx配置，这里介绍nginx的配置方法。

给Nginx服务器添加虚拟主机配置：

server {     listen 80;     server_name [hostname];     root /var/spool/pypi-mirror;     location /{         autoindex on;         autoindex_exact_size off; #显示文件的大小         autoindex_localtime on; #显示文件时间         #limit_rate_after 5m; #5分钟后下载速度限制为200k         limit_rate 200k;     }     access_log logs/pypi.diyoms.com.access.log main; }

【或】当然也可以像apt源的部署方法一样，做一个软链接给apache2，或者配置apache

$ sudo ln -s /var/spool/pypi-mirror /var/www/html/pypi

源的使用方法及国内其他源的地址见附1。

RubyGem本地源的搭建

本节介绍rubygems-mirror工具下载本地源的方法，再次善意提醒，gem源的大小也很惊人，目前是220G（2016-3），您是不是已经习惯了，哭晕在厕所好嘛~

假设您已经安装ruby和gem了。首先安装rubygems-mirror：

$ gem install rubygems-mirror

编辑~/.gem/.mirrorrc（最开始可能没有这个文件，创建一个就行）

--- - from: https://ruby.taobao.org   to: /srv/gem

主要的参数有from和to，当然，from已经换成淘宝源，不只是快一点哟；to的话是镜像文件保存的位置。

此时执行命令gem mirror即可进行镜像下载啦。

$ gem mirror

终于下完了，用了两天两夜，不知道多大呢，du一下半天都出不来结果啊。。。听着老迈的硬盘格拉格拉的声音，实在心疼，还是df一下吧，妈呀，使用220G，幸亏虚拟机给了500G的空间，

附1：国内源

APT源

修改/etc/apt/sources.list（建议先备份：sudo cp /etc/apt/sources.list /etc/apt/sources.list.back），选择添加如下内容，然后运行"apt-get update"即可（列表是针对ubuntu14.04的，即trusty版本）：

# 阿里源（个人推荐）： deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse   # 163源： deb http://mirrors.163.com/ubuntu/ trusty-security main restricted universe multiverse deb http://mirrors.163.com/ubuntu/ trusty-updates main restricted universe multiverse deb http://mirrors.163.com/ubuntu/ trusty-proposed main restricted universe multiverse deb http://mirrors.163.com/ubuntu/ trusty-backports main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ trusty main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ trusty-security main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ trusty-updates main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ trusty-proposed main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ trusty-backports main restricted universe multiverse   # 搜狐源： deb http://mirrors.sohu.com/ubuntu/ trusty main restricted universe multiverse deb http://mirrors.sohu.com/ubuntu/ trusty-security main restricted universe multiverse deb http://mirrors.sohu.com/ubuntu/ trusty-updates main restricted universe multiverse deb http://mirrors.sohu.com/ubuntu/ trusty-proposed main restricted universe multiverse deb http://mirrors.sohu.com/ubuntu/ trusty-backports main restricted universe multiverse deb-src http://mirrors.sohu.com/ubuntu/ trusty main restricted universe multiverse deb-src http://mirrors.sohu.com/ubuntu/ trusty-security main restricted universe multiverse deb-src http://mirrors.sohu.com/ubuntu/ trusty-updates main restricted universe multiverse deb-src http://mirrors.sohu.com/ubuntu/ trusty-proposed main restricted universe multiverse deb-src http://mirrors.sohu.com/ubuntu/ trusty-backports main restricted universe multiverse   # 官方源： deb http://archive.ubuntu.com/ubuntu/ trusty main restricted universe multiverse deb http://archive.ubuntu.com/ubuntu/ trusty-security main restricted universe multiverse deb http://archive.ubuntu.com/ubuntu/ trusty-updates main restricted universe multiverse deb http://archive.ubuntu.com/ubuntu/ trusty-proposed main restricted universe multiverse deb http://archive.ubuntu.com/ubuntu/ trusty-backports main restricted universe multiverse deb-src http://archive.ubuntu.com/ubuntu/ trusty main restricted universe multiverse deb-src http://archive.ubuntu.com/ubuntu/ trusty-security main restricted universe multiverse deb-src http://archive.ubuntu.com/ubuntu/ trusty-updates main restricted universe multiverse deb-src http://archive.ubuntu.com/ubuntu/ trusty-proposed main restricted universe multiverse deb-src http://archive.ubuntu.com/ubuntu/ trusty-backports main restricted universe multiverse deb http://mirrors.163.com/ubuntu/ trusty main restricted universe multiverse

另外，最近在学习CI过程中陆续添加的源，其中的内容相对于ubuntu的apt源版本会新很多：

# Puppet（puppetlab官方安装源） deb http://apt.puppetlabs.com trusty main # Jenkins（Jenkins安装方式的deb源） deb http://pkg.jenkins-ci.org/debian binary/ # Oracle Java（可以安装Oraclejava7/8甚至9） deb http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main # Git（目前apt的git版本是1.8.x，这是最新的git安装源） deb http://ppa.launchpad.net/git-core/ppa/ubuntu trusty main # GitLab deb https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/ubuntu trusty main

Pypi源

Pypi的国内镜像源有

http://pypi.douban.com/ 豆瓣 http://pypi.hustunique.com/ 华中理工大学 http://pypi.sdutlinux.org/ 山东理工大学 http://pypi.mirrors.ustc.edu.cn/ 中国科学技术大学 https://pypi.tuna.tsinghua.edu.cn/ 清华大学

对于pip这种在线安装的方式来说，很方便，但网络不稳定的话很要命。使用国内镜像相对好一些， 

如果想手动指定源，可以在pip后面跟-i 来指定源，比如用豆瓣的源来安装web.py框架：

pip install web.py -i http://pypi.douban.com/simple

 注意后面要有/simple目录！！！

 要配置成默认的话，需要创建或修改配置文件（linux的文件在~/.pip/pip.conf，windows在%HOMEPATH%\pip\pip.ini），修改内容为：

[global]  index-url = http://pypi.douban.com/simple

这样在使用pip来安装时，会默认调用该镜像。

RubyGem源

https://ruby.taobao.org 淘宝（注意，淘宝已经改用https的地址了）

使用方法（添加淘宝源，删除官方源）：

$ gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/ $ gem sources -l *** CURRENT SOURCES *** https://ruby.taobao.org # 请确保只有 ruby.taobao.org $ gem install rails

 

附2：参考资料

http://blog.csdn.net/get_set/article/details/50706293

http://linux.cn/article-4926-1.html

http://blog.csdn.net/get_set/article/details/50708471

http://topmanopensource.iteye.com/blog/2004853 

https://github.com/rubygems/rubygems-mirror

https://pypi.python.org/pypi/bandersnatch

http://ju.outofmemory.cn/entry/106899

http://doc.devpi.net/latest/quickstart-pypimirror.html#installing-devpi-server

http://www.diyoms.com/python/1058.html