1. lftp命令同步
在linux系统中,lftp是个功能强大的文件传输工具,支持命令补全、历史记录、多任务后台执行,还有书签、排队、镜像、断点续传、多进程下载等功能。
lftp命令在操作上,类似于shell脚本,对shell了解的朋友,掌握这个命令会很快。
lftp支持ftp, ftps, http, https, hftp, fish, sftp, file等多种文件访问方式(https和ftps方式只有lftp编译集成了OpenSSL库时才可用)。
ftp中的每项操作都是可靠的,非致命错误都会被忽略同时操作会被重新执行。
比如下载中断,它会重新从中断点开始继续下载;即便ftp服务器不支持断点续传,lftp会从头开始重新下载文件知道文件传输完成。
lftp拥有类似shell的语法,支持并行在后台(&)运行命令,支持用()分组命令并将它们在后台执行。
所有后台任务在同一个进程中执 行。使用^Z(Ctrl+Z)将前台任务切换到后台执行,wait或fg(wait的别名)命令将后台任务切换到前台,使用jobs命令罗列正在执行的任 务。
一些命令(如cat, ls等)允许将输出重定向至文件或通过管道传送给别的命令。
命令能根据前一命令的结束状态有选择性地执行(&&, ||)。
如果在仍有任务未完成的情况下退出lftp, lftp将会把自己切换到nohup模式在后台继续运行,直至任务完成。
lftp内置了镜像功能(mirror命令)允许下载整个目录,反向镜像功能(mirror -R命令)允许上传整个目录到服务器上。镜像功能同样可用于同步两个远程服务器上的文件
夹。
at命令在当前环境下指定在特定的时刻执行某些任务;queue命令将指定的命令在当前服务器上按顺序执行;还有其他很多命令。
启动时,lftp先后执行配置文件:/etc/lftp.conf, ~/.lftprc, ~/.lftp/rc 。
可以在这些配置文件中增加alias或set命令。
希望看到完整协议调试内容的朋友可以通过debug命令来启动调试模式,如使用debug 3将看到所有的问候消息和错误消息。
lftp拥有大量的配置项,可以通过set -a命令来查看所有的配置项和值,set -d命令查看配置项的默认值。配置项可以使用缩写并且省略前导符,只要名称唯一。
如果编译包括了OpenSSL (configure –with-openssl),那么lftp将内置有OpenSSL项目开发的软件功能。
mirror [OPTS] [source [target]]
将源文件夹镜像到目标文件夹。如果目标文件夹以/结尾,原文件夹名称会被附加到目标文件夹名称之后。源和目标都可以是指向文件夹的URL。
写成脚本如下:
lftp -e "mirror -c 远程目录 本地目录" 服务器地址
2. apt-mirror
安装apt-mirror工具
sudo apt-get install apt-mirror
配置apt-mirror
sudo vi /etc/apt/mirror.list
set base_path 表示要下载到哪个目录,一般指向挂载到这个机器的移动硬盘里
trusty 表示14.04,需要16.04的话,改成xenial
下载机如果是64位,他默认下载64位的源。如果要全下载可以把deb开头那一行改成:
deb-amd64 http://cn.archive.ubuntu.com/ubuntu trusty main restricted universe multiverse
deb-i386 http://cn.archive.ubuntu.com/ubuntu trusty main restricted universe multiverse
启动下载
sudo apt-mirror
- 配置本地软件源仓库
可以启动docker httpd服务并配置nginx反向代理提供域名访问。