[linux]-ubuntu22.04使用parallel-rsync

最新推荐文章于 2024-04-17 15:33:25 发布

爷来辣

最新推荐文章于 2024-04-17 15:33:25 发布

阅读量836

点赞数 4

文章标签： linux 运维服务器

仅供学习参考转载请标明出处。个人笔记为自己记录如果对大家有帮助那也挺好写的马虎如果有不对的地方谢谢指正各位大佬别喷哦

本文链接：https://blog.csdn.net/xujiamin0022016/article/details/137675213

版权

本文介绍了prsync工具，一种用于快速并行rsync文件同步的实用程序，它在apt更新和安装pssh后被用于备份。然而，prsync缺乏--delete选项，这可能对需要删除远程旧版本文件的用户造成不便。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

导语：体验一下prsync工具(parallel-rsync)

apt update ;apt install pssh -y 
#apt update 
#apt install --reinstall pssh -d 
#cd /var/cache/apt/archives/
#dpkg-deb -X  pssh_2.3.4-2_all.deb  abc # 解压出deb中的可执行文件

parallel-rsync -l root -av -H "192.168.10.81 192.168.10.82"  /data1/yunwei  /tmp/

但是parallel-rsync没有–delete参数

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

爷来辣

关注关注

4
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

【Ubuntu】详细说说Parallels DeskTop安装和使用Ubuntu系统

一捌柒的博客

07-04

2427

相信还是很多人，不知道自己该怎么选择，到底是选桌面版和服务器版本呢？如果用比较官方的话来说呢，就是看你们自己使用场景和需求啦～但是如果用的简单的话来说，你就知道你自己要用哪种了。【1】从性能和开发角度：如果你是自己本地开发测试就用桌面版，部署和客户服务器上就用服务器版；这样本地可以提高开发效率，服务器又能实现简易安装和部署；【2】从个人喜好角度：如果你比较懒，不喜欢敲命令，就选桌面版；反之，你就用服务器版；这个原因就不必说了，纯主观意识；【3】从资源分配角度。

交叉编译--目标平台aarch64 ubuntu 22.04

jinsenianhua2012的专栏

10-13

854

开发宿主机： ubuntu22.04虚拟机（PC）目标平台：地平线x3派/x3 Module , ubuntu22.04基于ros2 humble 开发功能包，最终需要在地平线x3上运行，基于开发板 5核 4G的内存的有限的资源情况，直接在目标机上编译虽然也可以，但耗时太长，而且还需开启swap交换区并关闭并行编译，否则分分钟内存不足。交叉编译势在必行！！由于之前交叉编译经验不足，导致各种问题迟迟不能解决经过九九八十一难终于初步完成交叉编译环境的搭建，特记录一下，避免重复踩坑。

参与评论您还未登录，请先登录后发表或查看评论

rsync

z07121的博客

06-07

372

rsync简介 rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。 rsync特性 rsync支持很多特性： 1.可以镜像保存整个目录树和文件系统 2.可以很容易做到保持原来文件的权限、时间、软硬链接等等 3.无须特殊权限即可安装 4.快速：第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽 5.安全：可以使用

parallel+rsync快速复制文件夹

隆力奇的博客

07-04

1215

find . -type f | parallel 'mkdir -p /run/media/root/TOSHIBA\ EXT/backup1/{//}; rsync -a {} /run/media/root/TOSHIBA\ EXT/backup1/{}'

linux parallel rsync 拷贝N多文件

weixin_30522183的博客

09-21

832

先来个对比图看一下, 左边图是普通 rsync 目录拷贝, 右边图是借助 parallel 工具并发起了多个 rsync centos6.5安装 parallel #!/bin/bash # Install parallel on CentOS 6. # Assumes you are root. Prefix w/ sudo if not. cd /etc/y...

并行rsync

Lywen2004200016的博客

11-16

388

#!/bin/bash if [ $# -le 2 ]; then echo -e "usage : \n\t$0 hostList src_file dst_path" echo -e "example: \n\t$0 hostList file.txt /home/work/opdir" exit 1 fi # concurrent ...

usage.txt-2

huhuoyun的专栏

02-15

1695

局域网共享喇叭 ---------------- $>paprefs #PulseAudio Preferences. $>pavucontrol #Volume Control. 终端快捷键 ---------------- SHIFT+CTRL+v #终端复制. SHIFT+CTRL+c #终端粘贴. SHIFT+CTRL+t #新建标签页. SHIFT+.

运维之道 | PSSH 自动化集群管理、自动化脚本管理

VillianTsang 、运维之道

02-06

661

前言 PSSH是一个python编写可以在多台服务器上执行命令的工具，同时支持拷贝文件，是同类工具中很出色的。类似pdsh，但是相对pdsh更为简便，使用前必须在各个服务器上配置好密钥认证访问一、主机规划主机 IP 管理主机 192.168.182.10 被管理主机 - 1 192.168.182.11 被管理主机 - 2 192.168.182.12 二、PSSH...

usage.txt-1

huhuoyun的专栏

02-15

1561

系统迁移，虚拟机系统向host机迁移的实现如下：虚拟机迁移到实体机工具准备： usb 3.0硬盘盒 x1 2T 128 cache x1 usb 3.0 接口 x1 虚拟机迁移到虚拟磁盘的工具准备： 2T vmdk分割 x1 第一部分制作引导分区 1.grub-install /dev/sdx #将boot安装到/dev/.

README

vekrio的博客

10-25

3347

stu linux学习 1:centos7查看版本信息登陆root帐户，输入 cat /etc/redhat-release，即可显示系统版本输入 uname -r ，可以查询内核版本输入 df -h，可以查看各分区的使用情况。其中，从左到右各列的内容依次是：文件系统、总大小、已使用大小、剩余大小、使用率、挂载点。输入du -sh，则可以查...

Ubuntu22.04LTS配置rsync服务

Heylun的专栏

11-29

4691

近期准备同步一些文件，准备选用rsync，这里记录一下配置过程。rsync是一个开源的快速备份工具，可以镜像保存整个目录树和文件系统。rsync使用所谓的“rsync算法”来使本地和远程的文件保持同步。这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。rsync可以工作在unix/linux，windows，mac等等。rsync可以实现增量备份，即上传文件时，先与本地文件进行比较，只上传本地文件有变化的部分，这样就避免了上传整个文件。

Ubuntu 22.04 安装 parallel tools 报错解决

qq_38544899的博客

05-10

1696

想要安装parallel tools时报错：could not build kernel 或者找不到kernel库，网上给出的方法是修改/etc/apt/sources.list 中源的地址，然后再用sudo apt-get update。然而，不出意外的话又出问题了呢，依然找不到kernel库。咋个办，有人把失败经历写出来了，我通过不断尝试结合英文论坛的问题发现是parallel tools的兼容性问题，有人下载了不同的包，依然报错，说明parallel tools没有修复这个问题。

scp命令:Parallel Ubuntu 与 MacOS互传数据

weixin_43948712的博客

03-13

395

Linux上的配置过程 sudo apt isntall openssh -server /etc/init.d/ssh start sudo apt install net-tools ifconfig 之后能够拿到linux的ip地址，记住这个ip,之后要用到。（之前看的教程说用 ip address命令也能拿到ip 但是显示的结果很奇怪= = 就换了个方式）配置完后打开MacOS Ter...

rsync同步工具介绍与部署

m0_67758799的博客

08-10

266

1. rsync简介 2. rsync特性 3. rsync的ssh认证协议 4. rsync命令 5. rsync+inotify 5.1 rsync+inotify组合的优势 5.2 rsync+inotify部署在目标服务器上做以下操作：在源服务器上做以下操作：实时触发rsync进行同步源服务器设置脚本开机自动启动：源服务器重启后，生成新文件到目标服务器验证：...

linux批量远程管理主机命令 parallel-ssh, parallel-scp, parallel-nuke, parallel-slurp, parallelrsyncp

haipengdai的博客

05-12

1353

parallel-ssh -h host_file 如果给定多个host_file，那么会认为是所有host_file中的文件，如host_file1中是[192.168.8.230, 192.168.8.231]，host_file2中是[192.168.8.232, 192.168.8.230]， parallel-ssh -h host_file1 -h host_file2 cmd　会

mac 通过parallel安装ubuntu虚拟机系统

mixiaoxinmiss的博客

11-18

2387

写在前面：切记：没事不要随便动配置！不要随便删除东西！ 1.在mac上安装parallel软件； 2.将ubuntu16.04的镜像文件拷贝到空u盘中； 3.打开parallel通过镜像文件安装，选择u盘中的镜像文件安装。 4.安装pcl、opencv相关库。 4.1 PCL: https://larrylisky.com/2016/11/03/poi...

Parallels Desktop安装并配置Ubuntu

qq_40483419的博客

04-17

6777

本文基于Parallels Desktop的安装助手直接安装Ubuntu22.04

ubuntu安装parallel tools失败

xiao_huocai的博客

07-11

4709

在低版本的parallel上安装ubuntu会出现parallels tool无法安装成功的情况，通过查看错误日志可以发现是get_user_pages函数出错，通过各种google无果，后来想到可能是因为parallel tool本身的原因，低版本parallel没有适配内核过高的ubuntu，将Parallels Tools用新版本的替换，重新安装即可。...

记一次 mac电脑 parallels desktop win10 虚拟机配置rsync文件同步功能（含mac 无法读写ntfs移动硬盘的解决方法）

枪枪枪的博客

06-28

2450

mac store中搜索Omi NTFS磁盘管理工具，安装 rsync server端和client端。这个链接里面下载的压缩包里都有 https://www.cr173.com/soft/110806.htmlserver 端的安装可以参照这篇博客https://blog.csdn.net/sinat_27747695/article/details/114098005client端安装一直点击下一步就可以了，安装完成后把exe文件配置到环境变量里，就可以在cmd中调用rsync命令停止windows

ubuntu22.04使用多块4090D部署DeepSeek

最新发布

05-08

<think>好的，用户想在Ubuntu 22.04系统上用多块4090显卡部署DeepSeek大模型。首先，我需要回忆之前的引用内容，看看有什么相关的信息。引用里提到了Ollama和KTransformers，但用户可能更关注具体的部署步骤。首先，系统环境准备是必须的。用户用的是Ubuntu 22.04，需要安装NVIDIA驱动和CUDA工具包。多卡的话，可能需要配置NCCL来支持多GPU通信。驱动版本要兼容CUDA 12.x，因为4090可能需要较新的驱动。然后，安装CUDA和cuDNN，确保多卡环境正常。接下来是部署工具的选择。引用中提到KTransformers支持GPU/CPU异构计算，特别优化了MoE架构，可能适合多卡部署。用户可能需要用这个框架来利用多块4090。另外，Hugging Face的模型库可能有DeepSeek的GGUF版本，但多卡部署可能需要不同的方法。然后，安装必要的软件包。Python环境、PyTorch支持多GPU的版本，还有Transformers库。需要确认PyTorch是否安装了CUDA版本，并且能够检测到多块显卡。安装KTransformers框架，可能还需要从源码安装或者通过pip。下载模型部分，用户需要获取DeepSeek的模型文件。根据引用，可以从Hugging Face下载GGUF量化版本，比如用wget获取。但如果是多卡部署，可能需要原生的模型文件而不是量化版，因为量化可能影响多卡效率。这里可能需要进一步确认，用户需要的是否是量化版本，或者原始模型。编写推理脚本时，要利用多卡。PyTorch的DataParallel或DistributedDataParallel可以用于多GPU。或者，使用KTransformers提供的多GPU支持，查看其文档是否有相关参数。例如，在命令行参数中指定使用的GPU数量，或者在代码中设置设备映射。验证多卡使用情况，可以通过nvidia-smi查看GPU利用率，或者代码中输出使用的设备信息。如果发现只有单卡被使用，可能需要检查代码中的并行设置是否正确。性能优化方面，模型并行、流水线并行或者使用KTransformers的优化策略。例如，将模型的不同层分配到不同的GPU上，或者调整批量大小以充分利用显存。另外，混合精度训练和激活重计算可以节省显存，提高效率。可能遇到的问题：驱动不兼容、CUDA版本问题、多卡通信失败、显存不足等。需要检查日志，确保NCCL正确安装，多卡之间的连接正常。使用docker容器时，要确保容器能够访问所有GPU。最后，用户可能需要具体的示例代码，比如修改后的推理脚本，或者命令行参数如何调整。根据引用3中的示例，运行命令可能需要添加--gpu_num这样的参数来指定多卡，但需要查阅KTransformers的文档确认。总结步骤：环境准备→工具安装→模型下载→编写多卡推理代码→验证和优化。确保每一步都检查多卡的支持情况，特别是在框架和模型加载时的配置。</think>### Ubuntu 22.04 多卡部署DeepSeek模型分步指南 #### 一、系统环境准备 1. **NVIDIA驱动安装** - 执行`ubuntu-drivers devices`检测推荐驱动版本 - 安装适用于CUDA 12.x的驱动： ```bash sudo apt install nvidia-driver-535 ``` - 验证驱动：`nvidia-smi`应显示多块4090的PCIe连接状态 2. **CUDA工具链配置** - 安装CUDA 12.2： ```bash wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda_12.2.2_535.104.05_linux.run sudo sh cuda_12.2.2_535.104.05_linux.run ``` - 配置环境变量： ```bash echo 'export PATH=/usr/local/cuda-12.2/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc ``` 3. **NCCL多卡通信库** ```bash sudo apt install libnccl2 libnccl-dev ``` #### 二、部署工具选择采用**KTransformers框架**（引用[2]）实现多卡负载均衡，其特性包括： - 原生支持多GPU张量并行 - 动态显存分配策略 - MoE架构优化（适用于DeepSeek-R1） #### 三、安装依赖包 ```bash # 创建虚拟环境 python -m venv ds_env && source ds_env/bin/activate # 安装PyTorch与加速库 pip install torch==2.1.0+cu121 torchvision==0.16.0+cu121 --extra-index-url https://download.pytorch.org/whl/cu121 pip install ktransformers>=0.4.2 transformers==4.35.0 accelerate # 编译安装NVIDIA Apex（可选） git clone https://github.com/NVIDIA/apex cd apex && pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./ ``` #### 四、模型获取与配置 1. **下载DeepSeek-V3 16bit版本** ```bash huggingface-cli download deepseek-ai/DeepSeek-V3 --include "model-*.safetensors" --exclude "*.gguf" ``` 2. **创建设备映射文件`device_map.json`**： ```json { "transformer.embedding": 0, "transformer.layer.0": 0, "transformer.layer.1": 1, ... "transformer.layer.31": 1, "lm_head": 1 } ``` #### 五、多卡推理脚本 ```python from ktransformers import AutoModelForCausalLM from transformers import AutoTokenizer import torch model_path = "./deepseek-ai/DeepSeek-V3" tokenizer = AutoTokenizer.from_pretrained(model_path) # 多卡并行配置 model = AutoModelForCausalLM.from_pretrained( model_path, device_map="auto", # 自动分配设备 max_memory={i: '24GiB' for i in range(torch.cuda.device_count())}, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True ) input_text = "解释量子纠缠现象" inputs = tokenizer(input_text, return_tensors="pt").to(0) # 输入分配到GPU0 outputs = model.generate( **inputs, max_new_tokens=1000, do_sample=True, temperature=0.7, top_p=0.9 ) print(tokenizer.decode(outputs[0])) ``` #### 六、启动参数优化通过命令行控制显存分配： ```bash python -m ktransformers.local_chat \ --model_path deepseek-ai/DeepSeek-V3 \ --gpu_num 2 \ # 指定使用2块GPU --tensor_parallel_size 2 \ # 张量并行维度 --batch_size 8 \ --max_new_tokens 2048 ``` #### 七、验证多卡利用率 1. 监控工具： ```bash watch -n 1 nvidia-smi ``` 2. 预期输出应显示两块4090的显存占用和计算利用率均衡 #### 八、常见问题解决 1. **PCIe带宽瓶颈** - 执行`nvidia-smi topo -m`查看GPU连接拓扑 - 建议使用NVLink连接多卡（需硬件支持） 2. **显存不足警告** ```python # 启用激活检查点 model.gradient_checkpointing_enable() # 使用8bit量化 model = model.quantize(8) ``` 3. **多卡负载不均衡** 调整`device_map.json`手动指定层分布