yum仓库搭建及定制rpm包

yum仓库搭建及定制rpm包

第1章 搭建YUM仓库
1.1 创建yum仓库目录

mkdir -p /application/yum/centos6.9/x86_64/
cd /application/yum/centos6.9/x86_64/
rz #上传rpm包到此目录，此目录下面还可以包括文件夹

1.2 安装createrepo软件
1.2.1 在线安装

yum -y install createrepo

1.2.2 离线安装

#CentOS7
http://mirror.centos.org/centos/7/os/x86_64/Packages/createrepo-0.9.9-28.el7.noarch.rpm
rpm -ivh createrepo-0.9.9-28.el7.noarch.rpm
#CentOS6
http://mirror.centos.org/centos/6/os/i386/Packages/createrepo-0.9.9-28.el6.noarch.rpm
rpm -ivh createrepo-0.9.9-28.el6.noarch.rpm

1.3 初始化repodata索引文件

createrepo -pdo /application/yum/centos6.9/x86_64/ /application/yum/centos6.9/x86_64/

1.4 提供yum服务

# 可以用Apache或nginx提供web服务，但用Python的http模块更简单，适用于内网环境
cd /application/yum/centos6.6/x86_64/
python -m SimpleHTTPServer 80 &>/dev/null &
可以通过浏览器输入本机IP查看

1.5 添加新的rpm包

# 只下载软件不安装
yumdownloader pcre-devel openssl-devel 
createrepo --update /application/yum/centos6.6/x86_64/   
# 每加入一个rpm包就要更新一下。
# 平时yum安装软件时不删除安装包
cat /etc/yum.conf 
keepcache=1
# 安装包存储目录
cachedir=/var/cache/yum/$basearch/$releasever
# /var/cache/yum/x86_64/6/base/packages

1.6 客户端配置

# cd /etc/yum.repos.d
[root@B yum.repos.d]# vi test.repo
[test]
name=Server
baseurl=http://10.0.0.100
enable=1
gpgcheck=0
[root@YUM ~]# yum --enablerepo=test --disablerepo=base,extras,updates,epel list 
# 指定使用test库

上面是临时使用内网yum源，想永久并简单使用yum -y install lrzsz命令，就需要修改配置文件将默认的repo文件关闭。

[root@test ~]# cd /etc/yum.repos.d/
[root@test yum.repos.d]# vim CentOS-Base.repo
# 在每一个启动的源加上
# enabled=0   #改为1就启用，没有此参数也是启用。
[base]
…………
enabled=0
[updates]
…………
enabled=0
[extras]
…………
enabled=0
# 还有其他开启的仓库就使用这个办法关闭。

1.7 镜像yum源
上面只是将自己制作的rpm包，放入yum源。但还有一种企业需求，说的更具体一点，平时学生上课yum安装软件都是从公网下载的，占用带宽，因此在学校里搭建一个内网yum服务器，但又考虑到学生回家也要使用yum安装软件，如果yum软件的数据库文件repodata不一样，就会有问题。因此我想到的解决方法就是直接使用公网yum源的repodata。

镜像同步公网yum源
上游yum源必须要支持rsync协议，否则不能使用rsync进行同步。
http://mirrors.ustc.edu.cn/status/
CentOS官方标准源：rsync://mirrors.ustc.edu.cn/centos/
epel源：rsync://mirrors.ustc.edu.cn/epel/
同步命令：
# 使用rsync同步yum源，为了节省带宽、磁盘和下载时间，我只同步了CentOS6的rpm包，这样所有的rpm包只占用了21G，全部同步需要300G左右。
# 同步base源，小技巧，我们安装系统的光盘镜像含有部分rpm包，大概3G，这些就不用重新下载。
创建四个同步的目录：
mkdir –p  /data/yum_data/centos/6/os/x86_64/
mkdir –p  /data/yum_data/centos/6/extras/x86_64/
mkdir –p  /data/yum_data/centos/6/updates/x86_64/
mkdir –p  /data/yum_data/epel/6/x86_64/
###################################################################
/usr/bin/rsync -av rsync://mirrors.ustc.edu.cn/centos/6/os/x86_64/ /data/yum_data/centos/6/os/x86_64/
/usr/bin/rsync -av rsync://mirrors.ustc.edu.cn/centos/6/extras/x86_64/ /data/yum_data/centos/6/extras/x86_64/
/usr/bin/rsync -av rsync://mirrors.ustc.edu.cn/centos/6/updates/x86_64/ /data/yum_data/centos/6/updates/x86_64/
# epel源
/usr/bin/rsync -av --exclude=debug rsync://mirrors.ustc.edu.cn/epel/6/x86_64/ /data/yum_data/epel/6/x86_64/
学生使用内网yum源方法
# 可以自建一个内网dns，如果没有，可使用hosts解析。
echo '172.16.1.100 mirrors.aliyun.com' >>/etc/hosts
结果展示
[root@test data]# du -sh yum_data    
21G     yum_data
[root@test data]# tree -L 3 yum_data/
yum_data/
├── centos
│   ├── 6
│   │   ├── extras
│   │   ├── os
│   │   └── updates
│   └── RPM-GPG-KEY-CentOS-6
├── epel
│   └── 6
│       └── x86_64

注意：镜像yum源需要nginx或者apache配合
1.7.1 nginx部署

yum -y install pcre-devel openssl-devel       #安装依赖包
useradd nginx -M -s /sbin/nologin                #创建用户
wget http://nginx.org/download/nginx-1.6.2.tar.gz
tar xf nginx-1.6.2.tar.gz
cd nginx-1.6.2
./configure --prefix=/application/nginx-1.6.2 --user=nginx --group=nginx --with-http_ssl_module --with-http_stub_status_module
make && make install
ln -s /application/nginx-1.6.2/ /application/nginx

1.7.2 nginx的配置文件nginx.conf内容如下

cat /application/nginx/conf/nginx.conf
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    autoindex on;                #开启nginx目录浏览功能
    autoindex_exact_size off;    #文件大小从KB开始显示
    autoindex_localtime on;      #显示文件修改时间为服务器本地时间
    server {
        listen       80;
        server_name  localhost;
        location / {
            root   /data/yum_data/;     #修改nginx默认的网站目录
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

1.8 可用公网源
1.8.1 可用一：（第三方epel源）

rsync -avrt --delete --no-iconv --bwlimit=1000 rsync://mirrors.yun-idc.com/epel/6/x86_64/  /application/yum/centos6.6/x86_64 

1.8.2 可用二：（官方源）

/usr/bin/rsync -av rsync://mirrors.kernel.org/centos/6.9/os/x86_64/Packages/ /application/yum/centos6.6/x86_64

1.8.3 可用三：（第三方epel源）

rsync -avrt --delete --no-iconv --bwlimit=1000 rsync://mirrors.kernel.org/fedora-epel/6/x86_64/ /application/yum/centos6.6/x86_64

1.9 清华大学开源软件镜像（epel）

/usr/bin/rsync -av rsync://mirrors.tuna.tsinghua.edu.cn/epel/6/x86_64/ /application/yum/centos6.6/x86_64

1.10 清华大学开源软件镜像（官方源）

/usr/bin/rsync -av rsync://mirrors.tuna.tsinghua.edu.cn/centos/6.9/updates/x86_64/Packages/ /application/yum/centos6.6/x86_64

第2章 定制化RPM包
2.1 FPM打包工具

FPM的作者是jordansissel 
FPM的github：https://github.com/jordansissel/fpm 
FPM功能简单说就是将一种类型的包转换成另一种类型

2.1.1 支持的源类型包

dir         将目录打包成所需要的类型，可以用于源码编译安装的软件包
rpm         对rpm进行转换
gem         对rubygem包进行转换
python      将python模块打包成相应的类型

2.1.2 支持的目标类型包

rpm         转换为rpm包
deb         转换为deb包
solaris     转换为solaris包
puppet      转换为puppet模块

2.1.3 FPM安装

fpm是ruby写的，因此系统环境需要ruby，且ruby版本号大于1.8.5。
# 安装ruby模块
yum -y install ruby rubygems ruby-devel
# 查看当前使用的rubygems仓库
gem sources list
# 添加淘宝的Rubygems仓库，外国的源慢，移除原生的Ruby仓库
gem sources --add https://ruby.taobao.org/ --remove http://rubygems.org/
# 安装fpm，gem从rubygem仓库安装软件类似yum从yum仓库安装软件。首先安装低版本的json，高版本的json需要ruby2.0以上，然后安装低版本的fpm，够用。
gem install json -v 1.8.3
gem install fpm -v 1.3.3
# 上面的2步安装仅适合CentOS6系统，CentOS7系统一步搞定，即gem install fpm

2.1.4 FPM参数
2.1.4.1 常用参数 详细使用见fpm –help

-s          指定源类型
-t          指定目标类型，即想要制作成什么包
-n          指定包的名字
-v          指定包的版本号
-C          指定打包的相对路径  Change directory to here before searching forfiles
-d          指定依赖于哪些包
-f          第二次打包时目录下如果有同名安装包存在，则覆盖它
-p          输出的安装包的目录，不想放在当前目录下就需要指定
--post-install      软件包安装完成之后所要运行的脚本；同--after-install
--pre-install       软件包安装完成之前所要运行的脚本；同--before-install
--post-uninstall    软件包卸载完成之后所要运行的脚本；同--after-remove
--pre-uninstall     软件包卸载完成之前所要运行的脚本；同--before-remove

2.2 使用实例–实战定制nginx的RPM包
2.2.1 安装nginx

yum -y install pcre-devel openssl-devel
useradd nginx -M -s /sbin/nologin
wget http://nginx.org/download/nginx-1.6.3.tar.gz
tar xf nginx-1.6.2.tar.gz
cd nginx-1.6.2
./configure --prefix=/application/nginx-1.6.2 --user=nginx --group=nginx --with-http_ssl_module --with-http_stub_status_module
make && make install
ln -s /application/nginx-1.6.2/ /application/nginx

2.2.2 编写脚本

[root@rpm_test ~]# cd /server/scripts/
[root@rpm_test scripts]# vim nginx_rpm.sh  # 这是安装完rpm包要执行的脚本
#!/bin/bash
useradd nginx -M -s /sbin/nologin
ln -s /application/nginx-1.6.2/ /application/nginx

2.2.3 打包

[root@rpm_test ~]# fpm -s dir -t rpm -n nginx -v 1.6.2 -d 'pcre-devel,openssl-devel' --post-install /server/scripts/nginx_rpm.sh -f /application/nginx-1.6.2/  
no value for epoch is set, defaulting to nil {:level=>:warn}
no value for epoch is set, defaulting to nil {:level=>:warn}
Created package {:path=>"nginx-1.6.2-1.x86_64.rpm"}
[root@rpm_test ~]# ll -h nginx-1.6.2-1.x86_64.rpm 
-rw-r--r-- 1 root root 6.7M Nov  1 10:02 nginx-1.6.2-1.x86_64.rpm

2.2.4 安装rpm包
2.2.4.1 rpm命令安装

[root@LB-nginx-01 ~]# rpm -ivh nginx-1.6.2-1.x86_64.rpm
error: Failed dependencies:
       pcre-devel is needed by nginx-1.6.2-1.x86_64
       openssl-devel is needed by nginx-1.6.2-1.x86_64
# 但会报如上依赖错误，需要先yum安装依赖才能安装rpm包。

2.2.4.2 yum命令安装rpm包

yum -y localinstall nginx-1.6.2-1.x86_64.rpm
这个命令会自动先安装rpm包的依赖，然后再安装rpm包

第3章 注意事项
3.1 相对路径问题

# 相对路径
[root@rpm_test nginx]# fpm -s dir -t rpm -n nginx -v 1.6.2 .
no value for epoch is set, defaulting to nil {:level=>:warn}
no value for epoch is set, defaulting to nil {:level=>:warn}
Created package {:path=>"nginx-1.6.2-1.x86_64.rpm"}
[root@rpm_test nginx]# rpm -qpl nginx-1.6.2-1.x86_64.rpm    
/client_body_temp
/conf/extra/dynamic_pools
/conf/extra/static_pools
  …………
# 绝对路径
[root@rpm_test ~]# fpm -s dir -t rpm -n nginx -v 1.6.2 /application/nginx-1.6.2/
no value for epoch is set, defaulting to nil {:level=>:warn}
no value for epoch is set, defaulting to nil {:level=>:warn}
Created package {:path=>"nginx-1.6.2-1.x86_64.rpm"}
[root@rpm_test ~]# rpm -qpl nginx-1.6.2-1.x86_64.rpm 
/application/nginx-1.6.2/client_body_temp
/application/nginx-1.6.2/conf/extra/dynamic_pools
/application/nginx-1.6.2/conf/extra/static_pools
/application/nginx-1.6.2/conf/fastcgi.conf
/application/nginx-1.6.2/conf/fastcgi.conf.default
…………
# 使用rpm -qpl 命令可以查看rpm包的内容
# 注：fpm类似tar打包一样，只是fpm打的包能够被yum命令识别而已

3.2 软链接问题

[root@rpm_test ~]# fpm -s dir -t rpm -n nginx -v 1.6.2 /application/nginx
no value for epoch is set, defaulting to nil {:level=>:warn}
File already exists, refusing to continue: nginx-1.6.2-1.x86_64.rpm {:level=>:fatal}
# 报错是因为当前目录存在同名的rpm包，可以使用-f参数强制覆盖。
[root@rpm_test ~]# fpm -s dir -t rpm -n nginx -v 1.6.2 -f /application/nginx
no value for epoch is set, defaulting to nil {:level=>:warn}
Force flag given. Overwriting package at nginx-1.6.2-1.x86_64.rpm {:level=>:warn}
no value for epoch is set, defaulting to nil {:level=>:warn}
Created package {:path=>"nginx-1.6.2-1.x86_64.rpm"}
打包看似成功，但查看包的内容，只是这一个软链接文件。
[root@rpm_test ~]# rpm -qpl nginx-1.6.2-1.x86_64.rpm 
/application/nginx
# 原因：目录结尾的/问题，类似rm删除软链接目录

3.3 定制LNMP的RPM包思路
编译安装好nginx，mysql，php，此处有个问题，就是php的大部分依赖环境是通过yum安装的，但有一个libiconv-1.14.tar.gz包需要编译安装,安装时已经指定了安装目录，只需一同打包即可。
还有一个问题，就是mysql这个目录比较大，用fpm打包耗时长。平时我们有可能需要对nginx或php做优化，这样又得重新打包。因此我们可以将mysql分离出来，分别打包。只需在制作nginx+php的rpm包时添加mysql的依赖即可。

# 参考命令
 [root@web2 ~]# fpm -s dir -t rpm -n web2 -v 1.1 \
--description 'lnmp.cms,bbs.blog' \
-d ‘libxslt-devel,nfs-utils,rpcbind,mysql,libmcrypt-devel,mhash,mhash-devel,mcrypt' \
--post-install /server/scripts/lnmp-init.sh  \
/application /usr/local/libiconv/ /app/logs/ /data0/  /server/