较大数据集从Windows本地传到Linux服务器上的几种尝试

1.用MobaXterm软件,连接远程服务器,左侧sftp栏找到将数据集放置的位置,直接将本地文件夹内的数据集拖拽到对应位置即可。

    复制的速度不一,有时可达到22M/s,有时只能达到1000K/s。

2.使用pscp命令,在本地Windows终端上输入命令,输入服务器密码后,即可上传到服务器对应位置上,但此方法在尝试时速度也不是很理想,约500K/s。

     ①在这个尝试过程中,先是找到了一篇关于scp命令在win和Linux之间传文件的文章,win-r,cmd命令后输入所需的命令格式,发现没有该条指令。

(1)在本地的终端下,而不是在服务器上。在本地的终端上才能将本地的文件拷入服务器。对应链接
(2)scp -r localfile.txt username@192.168.0.1:/home/username/
其中,
        1)scp是命令,-r是参数
        2)localfile.txt 是文件的路径和文件名
        3)username是服务器账号
        4)192.168.0.1是要上传的服务器ip地址
        5)/home/username/是要拷入的文件夹路径

     ②在百度后发现可以通过putty官网下载对应版本的文件,install后,win-r  ,psftp命令,进入exe终端,输入相应命令,之后输入密码即可进行数据集上传。

【PuTTy 的功能,而是通过其完整安装包内的 psftp.exe 文件实现的。所以,要完成这些操作, Windows 内必须有完整的 PuTTy 安装包而不仅仅是 putty.exe 这一个文件。】

     ③ 可能出现的问题    scp -P 22 localfile.txt username@192.168.0.1:/home/username/

      冒号处,是没有空格的,否则会显示“more than one remote source not supported”的错误提示;;username只能是root,否则输入密码会显示Access Denied;;中间说明处,改成了-P 22,最后可以成功上传。

### 两台Linux服务器之间传输文件的方法 在Linux环境中,存在多种方法可以在两台服务器之间传输文件。以下是几种常见的工具及其特点: #### 1. 使用 `scp` 命令 `scp` 是基于 SSH 协议的文件传输工具,能够实现安全的数据交换[^2]。其基本语法如下: ```bash scp [-r] [源路径] [目标用户名@目标IP地址:目标路径] ``` - **参数解释** - `-r`: 如果需要递归复制整个目录,则需加上此选项。 例如,将本地 `/home/user/file.txt` 文件上传至远程服务器 `/tmp/` 路径下: ```bash scp /home/user/file.txt user@192.168.1.10:/tmp/ ``` 如果要从一台服务器下载文件到另一台服务器上,也可以这样操作: ```bash scp user1@serverA:/path/to/source_file user2@serverB:/path/to/target_folder/ ``` 需要注意的是,在处理超大文件时,由于缺乏增量机制,`scp` 的性能可能不如其他一些高级工具。 #### 2. 利用 `rsync` 工具 对于大规模或频繁更新的数据集来说,推荐使用 `rsync` 来代替传统的 `scp` 或者 FTP 方法[^4]。该程序不仅具备更高的效率而且更加灵活多变。 - 它的主要优势在于仅发送差异部分而非重新传送完整的资料副本;另外还提供了诸如压缩功能之类的额外好处以减少网络负载并加快进程速度。 执行简单的同步任务可参照下面的例子: ```bash rsync -avz --progress source_directory username@remote_host:/destination/directory/ ``` 其中, - `-a`: 归档模式, 表示递归传输并且试图保持所有文件属性不变. - `-v`: 提供详细的输出信息以便于监控过程中的变化情况. - `-z`: 对数据流启用压缩算法从而节约带宽资源. 假设我们要把本机上的某个项目代码库推送到远端机器上去做进一步测试的话就可以这么写: ```bash rsync -avzp ./my_project root@172.16.32.5:/root/projects/ ``` 此外值得注意的一点就是当涉及到跨多个站点间的长期维护工作链路建立之后再利用SSH密钥认证方式免去每次都需要输入密码麻烦的同时也增强了安全性保障措施[^1]. #### 总结比较两者优劣之处 | 特性 | SCP | RSYNC | |-----------------|------------------------------|-----------------------------| | 数据加密 | 支持 | 支持 | | 断点续传 | 不支持 | 支持 | | 高效性 | 较低(全量拷贝) | 更高(增量式同步) | 综上所述,虽然两种手段都能满足基础需求,但对于追求更高生产力以及优化体验的朋友而言显然后者更为理想的选择之一[^3]。 ```python import os os.system('rsync -avz --progress local_dir remote_user@remote_host:/remote/path/') ```
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值