使用 `rsync` 和 `nohup` 打造高效文件同步工作流

本文链接：https://blog.csdn.net/weixin_43114209/article/details/146329770

一、命令详解

假设我要同步两个目录，我会使用以下命令：

nohup rsync -a --progress source_dir/ target_dir/ > sync_log.log 2>&1 &

这条命令集合了多种功能，值得细细拆解：

rsync：同步的核心引擎
rsync（remote sync）是一个高效的文件同步工具，支持本地和远程操作。它不仅能复制文件，还能智能处理增量变化，广泛应用于备份、数据迁移和部署。
-a：归档模式的威力
-a（archive mode）是 rsync 的核心选项，等价于 -rlptgoD，具体包括：
- -r：递归复制目录及其子目录。
- -l：保留符号链接。
- -p：保留文件权限。
- -t：保留修改时间戳。
- -g、-o：保留组和所有者。
- -D：复制特殊文件（如设备文件）。
  这个选项确保目标目录完全镜像源目录，元数据无损。
--progress：实时监控
--progress 显示每个文件的传输进度，包括已传输字节数、百分比、速度和预计剩余时间。对于大文件或目录（如视频数据集或日志归档），这个选项能直观反映同步状态。
source_dir/ target_dir/：路径细节
- 源路径后的斜杠（/）表示只同步目录内容，而非目录本身。
- 目标路径可以是本地目录，也可以是远程地址（如 user@host:/path）。
nohup：后台运行的保障
nohup（no hang up）让命令在终端关闭后继续执行。结合最后的 &，任务被放入后台，适合长时间运行的同步操作，尤其是在远程服务器上通过 SSH 执行时。
> sync_log.log 2>&1：日志记录
- > 将标准输出（stdout）重定向到 sync_log.log，记录进度详情。
- 2>&1 将标准错误（stderr）也写入同一文件，确保所有信息集中保存。

二、为什么选择 `rsync` 和 `nohup`？

假设我要同步一个包含数 GB 数据（如机器学习模型或日志文件）的目录：

rsync 的优势：
- 增量同步：通过比较文件大小和时间戳，只传输变化部分，效率远超 cp。
- 错误恢复：若中断，重新运行会跳过已完成部分。
- 灵活性：支持本地、远程、甚至跨协议（如 SSH）操作。
nohup 的价值：
如果我在远程服务器上操作，SSH 断开不会影响任务。日志文件还能让我事后检查结果。

三、实战示例

运行命令后，查看日志：

tail -f sync_log.log

可能看到类似输出：

data_file.tar.gz
    234,567,890  75%  4.56MB/s    0:00:12

这表明文件传输已完成 75%，速度为 4.56 MB/s，剩余 12 秒。完成后，目标目录与源目录一致，包括所有文件属性。

四、进阶技巧

验证同步完整性
使用 --dry-run 模拟运行，检查是否有遗漏：
```
rsync -a --dry-run source_dir/ target_dir/
```

排除无关文件
用 --exclude 过滤不需要的内容：

rsync -a --progress --exclude '*.bak' --exclude 'temp/' source_dir/ target_dir/

压缩传输
对于可压缩数据（如文本或归档文件），加 -z 减少带宽占用：
```
rsync -az --progress source_dir/ target_dir/
```

远程同步
将数据推送到远程服务器：

nohup rsync -a --progress source_dir/ user@remote:/path/to/target_dir/ > sync_log.log 2>&1 &

带宽限制
若网络资源有限，用 --bwlimit 控制速度（如 1MB/s）：
```
rsync -a --progress --bwlimit=1000 source_dir/ target_dir/
```
删除多余文件
若目标目录有源目录中不存在的文件，用 --delete 清理：
```
rsync -a --progress --delete source_dir/ target_dir/
```

五、注意事项

磁盘空间：确保目标路径有足够空间，rsync 不会自动检查。
权限：远程同步时，可能需要 SSH 密钥或适当的权限设置。
日志管理：长时间运行可能生成大日志，定期清理或追加写入（>>）是个好习惯。

六、总结

rsync 凭借其增量同步、元数据保留和灵活选项，成为文件同步的利器。-a 确保一致性，--progress 提供透明度，而 nohup 让任务在后台无忧运行。无论是迁移数据集、备份日志还是部署代码，这个组合都能显著提升效率。如果你还没用过 rsync，试试看，它可能会成为你的新宠！