linux async 目录同步,通过tunasync搭建镜像源仓库

最新推荐文章于 2024-08-10 08:36:59 发布
最新推荐文章于 2024-08-10 08:36:59 发布
阅读量760 收藏 1
点赞数
文章标签： linux async 目录同步

tunasync是清华大学TUNA镜像源目前使用的镜像方案，github地址：https://github.com/tuna/tunasync

当前以CentOS7系统为例，搭建一个基于内网的镜像仓库，建议硬盘至少2T以上，同步速度与网络带宽、磁盘读写速度有关！

1、安装依赖

yum install rsync wget

1

yuminstallrsyncwget

2、下载tunasync

wget https://github.com/tuna/tunasync/releases/download/v0.3.7/tunasync-linux-bin.tar.gz

tar xf tunasync-linux-bin.tar.gz

mv tunasync /usr/bin/

mv tunasynctl /usr/bin/

1

2

3

4

wgethttps://github.com/tuna/tunasync/releases/download/v0.3.7/tunasync-linux-bin.tar.gz

tarxftunasync-linux-bin.tar.gz

mvtunasync/usr/bin/

mvtunasynctl/usr/bin/

3、创建仓库目录

mkdir -p /data/mirrors

1

mkdir-p/data/mirrors

4、创建日志目录

mkdir -p /data/logs/tunasync

1

mkdir-p/data/logs/tunasync

5、创建tunasync配置文件

mkdir /etc/tunasync

1

mkdir/etc/tunasync

6、创建manager.conf配置文件

vi /etc/tunasync/manager.conf

1

vi/etc/tunasync/manager.conf

debug = false

[server]

addr = "127.0.0.1"

port = 12345

ssl_cert = ""

ssl_key = ""

[files]

db_type = "bolt"

db_file = "/etc/tunasync/manager.db"

ca_cert = ""

1

2

3

4

5

6

7

8

9

10

11

12

debug=false

[server]

addr="127.0.0.1"

port=12345

ssl_cert=""

ssl_key=""

[files]

db_type="bolt"

db_file="/etc/tunasync/manager.db"

ca_cert=""

manager部分参数说明：

addr：manager服务监听地址

port：manager服务监听端口

ssl_cert和ssl_key：证书配置

db_file：数据库文件位置

7、创建worker.conf配置文件

vi /etc/tunasync/worker.conf

1

vi/etc/tunasync/worker.conf

[global]

name = "test_worker"

log_dir = "/data/logs/tunasync/{{.Name}}"

mirror_dir = "/data/mirrors"

concurrent = 10

interval = 240

[manager]

api_base = "http://127.0.0.1:12345"

token = ""

ca_cert = ""

[cgroup]

enable = false

base_path = "/sys/fs/cgroup"

group = "tunasync"

[server]

hostname = "localhost"

listen_addr = "127.0.0.1"

listen_port = 6000

ssl_cert = ""

ssl_key = ""

[[mirrors]]

name = "centos"

provider = "rsync"

upstream = "rsync://mirrors.tuna.tsinghua.edu.cn/centos/"

use_ipv6 = false

[[mirrors]]

name = "epel"

provider = "rsync"

upstream = "rsync://mirrors.tuna.tsinghua.edu.cn/epel/"

use_ipv6 = false

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

[global]

name="test_worker"

log_dir="/data/logs/tunasync/{{.Name}}"

mirror_dir="/data/mirrors"

concurrent=10

interval=240

[manager]

api_base="http://127.0.0.1:12345"

token=""

ca_cert=""

[cgroup]

enable=false

base_path="/sys/fs/cgroup"

group="tunasync"

[server]

hostname="localhost"

listen_addr="127.0.0.1"

listen_port=6000

ssl_cert=""

ssl_key=""

[[mirrors]]

name="centos"

provider="rsync"

upstream="rsync://mirrors.tuna.tsinghua.edu.cn/centos/"

use_ipv6=false

[[mirrors]]

name="epel"

provider="rsync"

upstream="rsync://mirrors.tuna.tsinghua.edu.cn/epel/"

use_ipv6=false

worker部分参数说明：

log_dir：tunasync日志路径

mirror_dir：镜像的路径

concurrent：线程数

interval：同步周期，单位分钟

api_base：manager地址

name：镜像名称

upstream：upstream同步地址

8、下载tunasync启动停止脚本

wget -P /etc/init.d/ https://raw.githubusercontent.com/whsir/tunasync-bin/master/tunasync-manager

wget -P /etc/init.d/ https://raw.githubusercontent.com/whsir/tunasync-bin/master/tunasync-worker

chmod +x /etc/init.d/tunasync-manager

chmod +x /etc/init.d/tunasync-worker

1

2

3

4

wget-P/etc/init.d/https://raw.githubusercontent.com/whsir/tunasync-bin/master/tunasync-manager

wget-P/etc/init.d/https://raw.githubusercontent.com/whsir/tunasync-bin/master/tunasync-worker

chmod+x/etc/init.d/tunasync-manager

chmod+x/etc/init.d/tunasync-worker

9、启动服务

/etc/init.d/tunasync-manager start

/etc/init.d/tunasync-worker start

1

2

/etc/init.d/tunasync-managerstart

/etc/init.d/tunasync-workerstart

10、查看同步状态

此处12345为manager的端口

tunasynctl list -p 12345 --all

1

tunasynctllist-p12345--all

11、添加计划任务

*/1 * * * * wget -q http://127.0.0.1:12345/jobs -O /data/mirrors/jobs.json

1

*/1****wget-qhttp://127.0.0.1:12345/jobs -O /data/mirrors/jobs.json

12、配置前端web

rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm

yum install wnginx

1

2

rpm-ivhhttp://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm

yuminstallwnginx

13、配置nginx

vi /usr/local/nginx/conf/vhost/demo.conf

1

vi/usr/local/nginx/conf/vhost/demo.conf

修改后的内容如下

server

{

listen 80 default_server;

server_name _;

root /data/mirrors;

location ~ ^/(centos|epel) {

index index.html index.htm;

autoindex on;

autoindex_exact_size off;

autoindex_localtime on;

}

error_page 500 502 503 504 /50x.html;

#include enable-php56.conf;

#include enable-php70.conf;

#include enable-php71.conf;

#include enable-php72.conf;

#include enable-php73.conf;

#include enable-php74.conf;

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$

{

expires 30d;

}

location ~ .*\.(js|css)?$

{

expires 12h;

}

access_log /data/logs/nginx/demo_access.log;

error_log /data/logs/nginx/demo_error.log;

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

server

{

listen80default_server;

server_name_;

root/data/mirrors;

location~^/(centos|epel){

indexindex.htmlindex.htm;

autoindexon;

autoindex_exact_sizeoff;

autoindex_localtimeon;

}

error_page500502503504/50x.html;

#include enable-php56.conf;

#include enable-php70.conf;

#include enable-php71.conf;

#include enable-php72.conf;

#include enable-php73.conf;

#include enable-php74.conf;

location~.*\.(gif|jpg|jpeg|png|bmp|swf)$

{

expires30d;

}

location~.*\.(js|css)?$

{

expires12h;

}

access_log/data/logs/nginx/demo_access.log;

error_log/data/logs/nginx/demo_error.log;

}

14、设置前端web

cd /data/mirrors

wget http://down.whsir.com/downloads/mirrors_web.tar.gz

1

2

cd/data/mirrors

wgethttp://down.whsir.com/downloads/mirrors_web.tar.gz

重启nginx

/etc/init.d/nginx restart

1

/etc/init.d/nginxrestart

15、访问测试

访问URL即可看到以下内容，由于这两个源很大，同步时间会非常长

4a18ecff2246c7a12593d607469add98.gif

附：我这里再举个例子，基于docker-ce镜像同步

镜像同步脚本：https://github.com/tuna/tunasync-scripts

1、创建镜像同步脚本目录

mkdir /etc/tunasync/scripts/

cd /etc/tunasync/scripts/

1

2

mkdir/etc/tunasync/scripts/

cd/etc/tunasync/scripts/

2、下载docker-ce同步脚本

wget https://raw.githubusercontent.com/tuna/tunasync-scripts/master/docker-ce.py

chmod +x docker-ce.py

1

2

wgethttps://raw.githubusercontent.com/tuna/tunasync-scripts/master/docker-ce.py

chmod+xdocker-ce.py

3、在worker中新增docker-ce同步配置

vi /etc/tunasync/worker.conf

1

vi/etc/tunasync/worker.conf

[[mirrors]]

name = "docker-ce"

provider = "command"

upstream = "https://download.docker.com/"

command = "/etc/tunasync/scripts/docker-ce.py"

docker_image = "tunathu/tunasync-scripts:latest"

1

2

3

4

5

6

[[mirrors]]

name="docker-ce"

provider="command"

upstream="https://download.docker.com/"

command="/etc/tunasync/scripts/docker-ce.py"

docker_image="tunathu/tunasync-scripts:latest"

4、安装docker-ce同步时所需依赖

yum install python3 python-pip

pip3 install requests pyquery

1

2

yuminstallpython3python-pip

pip3installrequestspyquery

5、启动服务

/etc/init.d/tunasync-manager start

/etc/init.d/tunasync-worker start

1

2

/etc/init.d/tunasync-managerstart

/etc/init.d/tunasync-workerstart

6、修改nginx

在location中继续增加一个docker-ce

vi /usr/local/nginx/conf/vhost/demo.conf

1

vi/usr/local/nginx/conf/vhost/demo.conf

server

{

listen 80 default_server;

server_name _;

root /data/mirrors;

location ~ ^/(centos|epel|docker-ce) {

index index.html index.htm;

autoindex on;

autoindex_exact_size off;

autoindex_localtime on;

}

error_page 500 502 503 504 /50x.html;

#include enable-php56.conf;

#include enable-php70.conf;

#include enable-php71.conf;

#include enable-php72.conf;

#include enable-php73.conf;

#include enable-php74.conf;

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$

{

expires 30d;

}

location ~ .*\.(js|css)?$

{

expires 12h;

}

access_log /data/logs/nginx/demo_access.log;

error_log /data/logs/nginx/demo_error.log;

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

server

{

listen80default_server;

server_name_;

root/data/mirrors;

location~^/(centos|epel|docker-ce){

indexindex.htmlindex.htm;

autoindexon;

autoindex_exact_sizeoff;

autoindex_localtimeon;

}

error_page500502503504/50x.html;

#include enable-php56.conf;

#include enable-php70.conf;

#include enable-php71.conf;

#include enable-php72.conf;

#include enable-php73.conf;

#include enable-php74.conf;

location~.*\.(gif|jpg|jpeg|png|bmp|swf)$

{

expires30d;

}

location~.*\.(js|css)?$

{

expires12h;

}

access_log/data/logs/nginx/demo_access.log;

error_log/data/logs/nginx/demo_error.log;

}

7、重启nginx

/etc/init.d/nginx restart

1

/etc/init.d/nginxrestart

访问URL即可看到以下内容

4a18ecff2246c7a12593d607469add98.gif

前端web都是基于html写的，如果继续添加其他的源，可以自行更改

写在最后

手动同步方式

rsync -aHvh --no-o --no-g --stats --exclude .~tmp~/ --delete --delete-after --delay-updates --safe-links --timeout=120 --contimeout=120 rsync://mirrors.tuna.tsinghua.edu.cn/epel/ /data/mirrors/epel

1

rsync-aHvh--no-o--no-g--stats--exclude.~tmp~/--delete--delete-after--delay-updates--safe-links--timeout=120--contimeout=120rsync://mirrors.tuna.tsinghua.edu.cn/epel/ /data/mirrors/epel

rsync -aHvh --no-o --no-g --stats --exclude .~tmp~/ --delete --delete-after --delay-updates --safe-links --timeout=120 --contimeout=120 rsync://mirrors.tuna.tsinghua.edu.cn/centos/ /data/mirrors/centos

1

rsync-aHvh--no-o--no-g--stats--exclude.~tmp~/--delete--delete-after--delay-updates--safe-links--timeout=120--contimeout=120rsync://mirrors.tuna.tsinghua.edu.cn/centos/ /data/mirrors/centos

python3 /etc/tunasync/scripts/docker-ce.py --working-dir /data/mirrors/docker-ce/

1

python3/etc/tunasync/scripts/docker-ce.py--working-dir/data/mirrors/docker-ce/

docker-ce同步不建议使用上面python脚本方式，也可以通过rsync增量方式来同步清华大学站的docker-ce

rsync -aHvh --no-o --no-g --stats --exclude .~tmp~/ --delete --delete-after --delay-updates --safe-links --timeout=120 --contimeout=120 rsync://mirrors.tuna.tsinghua.edu.cn/docker-ce/ /data/mirrors/docker-ce

1

rsync-aHvh--no-o--no-g--stats--exclude.~tmp~/--delete--delete-after--delay-updates--safe-links--timeout=120--contimeout=120rsync://mirrors.tuna.tsinghua.edu.cn/docker-ce/ /data/mirrors/docker-ce

PS：如果同步后发现清华大学的centos源有个权限的报错

rsync: readlink_stat("7.7.1908/isos/x86_64/.CentOS-7-x86_64-Everything-1908.iso.RjFDl5" (in centos)) failed: Permission denied (13)

可以考虑将centos源更换香港这个源：rsync://mirror.hostlink.com.hk/centos/

4a18ecff2246c7a12593d607469add98.gif

4a18ecff2246c7a12593d607469add98.gif

~微信打赏~

赏

分享到：

weixin_39668282
关注
tunasync-scripts:镜像作业的自定义脚本
04-29
金枪鱼同步脚本 镜像作业的自定义脚本 执照 This program is free software: you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version. This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warr
linux async 目录同步,Linux文件同步工具sulasync的开始篇章...
weixin_29037455的博客
05-13 360
接下来的一段时间里，就要开始一个我的新项目，linux下的文件同步工具——sulaSync。这一篇简单介绍我们所要的需求。一.功能说明1：(P1)文件同步：能将Server端的文件传输至Client端的某个目录(P1)软件安装：能触发一个或者多个主机通过apt或者yum安装指定的软件包(P1)软件升级：能触发一个或者多个主机通过apt或者yum进行软件包的升级(P1)整个系统要有日志功能(P1)插...
Tunasync 开源项目教程
最新发布
gitblog_00282的博客
08-10 421
Tunasync 开源项目教程 tunasyncMirror job management tool. 项目地址:https://gitcode.com/gh_mirrors/tu/tunasync 1. 项目的目录结构及介绍 Tunasync 项目的目录结构如下： tunasync/ ├── bin/ │ ├── tunasync │ └── tunasynctl ├── conf/ ...
Linux常用环境配置及软件安装（持续更新）
智慧包的博客
12-10 1794
Linux常用环境配置及软件安装
linux 命令： rsync
诸葛老刘的博客
03-11 357
linux 远程数据同步命令
搭建私有镜像站使用tunasync
tobias的博客
01-24 1670
本文主要介绍私有镜像站搭建，主要分两步一是下载同步公网镜像，而是提供web 服务，主要使用tunasync 实现下载，使用nginx 或者mirror-web 提供web 服务。
vue如何使用async、await实现同步请求
10-15
`async/await`是ES2017引入的特性，它允许我们将异步代码写得像同步代码一样，使得代码更加可读和易于理解。下面将详细介绍如何在Vue中使用`async/await`实现同步请求。 首先，我们需要了解`async`和`await`这两个...
jQuery中的ajax async同步和异步详解
10-23
文章中通过代码示例来说明同步和异步请求的不同执行顺序。当async为true时，即异步请求，浏览器在发送请求后不会停止执行其他代码，因此在数据返回并执行回调函数之前，可能会先执行后续的alert("setp2")。而当async...
nodejs使用async模块同步执行的方法
10-17
接着，通过调用`async.series`函数，我们可以看到即使这些异步操作是通过`setTimeout`模拟的，它们也能按照预期的顺序执行。在控制台中，我们首先会看到"方法1"、"方法2"、"方法3"依次输出，然后才是"正常执行的方法...
详解ES6之async+await 同步/异步方案
08-29
详解ES6之async+await同步/异步方案 async+await是ES6中引入的异步编程解决方案，旨在解决异步编程中的回调地狱问题。下面我们将详细介绍async+await的工作原理和使用方法。 异步编程的几个场景 异步编程是...
微信小程序中使用Async-await方法异步请求变为同步请求方法
10-17
以下是一个通过将异步API调用转换成返回Promise对象的函数，并在小程序中使用async-await语法来同步调用的示例。首先定义异步的get和post请求函数，以及加载提示和隐藏提示的函数，这些函数都返回Promise对象，以便...
tunasync-web:金枪鱼同步镜网
05-28
tunasync-web Get Started 通过tunasync搭建镜像仓库() Thank for weyo: tuna: 163: USTC:
201901建站运维笔记 38
chiyanliao0442的博客
03-17 106
rsync教程 rsync -av /etc/passwd /tmp/1.txt rsync -av /tmp/1.txt 192.168.188.128:/tmp/2.txt rsync格式 rsync [OPTION] … SRC DEST rsync [OPTION...
高效通信的新范式：探索异步请求在网络设计中的创新思路
Lion_Long的博客
08-26 933
异步将请求和接收分离，一个线程负责发起请求，一个线程负责接收返回，减少了等待结果的过程，性能比较高；但不符合人类的理解思维，因此理解起来不那么容易。
Centos7文件同步async
weixin_42789698的博客
08-19 55
文章目录0x01 测试环境0x02 rsync同步方式第一种方式：rsync通过ssh方式同步 0x01 测试环境 CentOS 7.4 Rsync服务端：192.168.204.130 CentOS 7.4 Rsync客户端：192.168.204.168 0x02 rsync同步方式 第一种方式：rsync通过ssh方式同步 1、Rsync服务端和客户端都需要安装rsync [root@localhost ~]# yum -y install rsync 2、使用 前提：需知道远程服务器开
私有源搭建
u012296415的博客
08-17 1055
环境：centos7 服务器一台
【linux】之数据同步服务RSYNC
qq_35302220的博客
12-07 879
【linux】之数据同步服务RSYNC
Linux平台下async-profiler 2.9版本发布
3. Linux平台支持：async-profiler-2.9-linux-x64.tar.gz文件名表明该版本支持64位Linux操作系统。该工具有平台特定的可执行文件，意味着需要在相应平台下运行，以保证性能数据的正确采集与分析。 4. 文件压缩包...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值