tar打包过大，通过split分割拆解大包文件

最新推荐文章于 2023-08-01 11:48:06 发布
最新推荐文章于 2023-08-01 11:48:06 发布
阅读量907 收藏
点赞数 1
文章标签： python
原文链接：https://my.oschina.net/oliverlin/blog/1589586
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

背景：最近使用 tar 打包单独文件搭60G，各种网络存储都不支持了，故需将tar 包分解成小包。

解决方法：（预打包目录：xyx）

tar czf - xyx/ |split -b 10G -  dest/xyx.tar.gz.

结果：

会在 dest/ 下生成如下列表：

xyx.tar.gz.aa
xyx.tar.gz.ab
......
xyx.tar.gz.ag

转载于:https://my.oschina.net/oliverlin/blog/1589586

weixin_34194087
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux tar 100g,是时候压缩非常大的（100G）文件了
weixin_29515393的博客
05-14 4515
我发现自己不得不压缩许多非常大的文件(80-ish GB)，并且我对我的系统表现出的(缺乏)速度感到惊讶。我得到大约500 MB / min的转换速度；使用top，我似乎正在以大约100％使用单个CPU。我非常确定这不是(只是)磁盘访问速度，因为创建tar文件(这就是80G文件的创建方式)仅花费了几分钟(也许5或10)，但是经过2个小时多之后，我仍然使用了简单的gzip命令未完成。综上所述：tar...
linux 打包大文件,tar打包处理大文件的解压缩方法
weixin_36329414的博客
04-29 1385
最近老遇到上传大文件的问题，而网络不稳定导致多次失败，查找资料觉得下次很实用。tar是文件打包工具，split是文件分割工具，在邮件中发送附件的时候，可能因为附件大小限制，需要压缩并分割，分几封邮件发送。如果需要备份很多资料的时候，打包后的单个文件可能超出文件系统支持的单个文件大小限制的时候，也需要分割成适合大小的文件包。刚好今天又要备份skype文件夹，所以就用这个实例来说明一下tar和spli...
用tar命令压缩大文件
SlamDunk的博客
07-04 3189
1、用tar压缩大文件 tar -jcvf android_build.tar.bz2 android_build 2、用split分割文件 split -b 4000M android_build.tar.bz2 -d -a 2 android_build.tar.bz2. 注： -a 2：分割文件以01、02结尾，如果原压缩包太大，使用 -a 2，一般使用 -a 1 -d 指定切割后的文件名称 3、命令合并使用 tar -jcvf android_build.tar.bz2 a
如何把大的‘tar‘存档文件分割成特定大小的多个文件
yuyuyuliang00的博客
07-05 2761
linux tar split cat
Linux下的压缩文件剖析[摘抄]
Yemy的专栏
11-08 1047
   对于刚刚接触Linux的人来说，一定会给Linux下一大堆各式各样的文件名给搞晕。别个不说，单单就压缩文件为例，我们知道在Windows下最常见的压缩文件就只有两种，一是,zip，另一个是.rap。可是Linux就不同了，它有.gz、.tar.gz、tgz、bz2、.Z、.tar等众多的压缩文件名，此外windows下的.zip和.rar也可以在Linux下使用，不过在Linux使用.zip
【linux】解压 tar 格式文件报错及解决方法
Mrerlou的博客
02-22 2632
前言 解压 .tar 格式的压缩文件报错。 报错信息 [root@dx-hadoop41 ~]# tar -zxvf presto.tar gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now 解决方法 tar -xvf presto.tar
Linux 将压缩后的文件进行分割
最新发布
weitongxxx的博客
08-01 1326
压缩的后的文件大小过大。这就导致下载过程中容易被网络中断打断，导致文件下载困难。这样就需要用到了“split”分割压缩成其他更小的压缩包来下载即可。
linux中tar打包指定路径文件的实现方法
09-15
通过`tar -tzvf archive.tar.gz`，你可以看到档案中包含的文件和目录。 5. **仅解压部分文件**： - 如果只想解压档案中的某个特定文件，可以在解压命令后指定文件名，如`tar -xzvf archive.tar.gz path/in/archive...
linux基础–文件打包和压缩 tar命令
01-09
tar命令是Unix/Linux系统中备份文件的可靠方法， 几乎可以工作于任何环境中，它的使用权限是所有用户。 建议针对目录 压缩命令 语法： tar 选项 压缩包名称 源文件 #tar -cf etc.tar /etc 打包 #tar -czf etc-gzip....
CentOS下tar打包解压详解（解压到指定文件夹）
01-20
本文介绍了tar命令、gzip, zcat 命令、bzip2, bzcat 命令、compress 命令、dd 命令、cpio 命令，具体如下： tar命令 解压文件到指定目录： tar -zxvf /home/zjx/aa.tar.gz -C /home/zjx/pf tar [-cxtzjvfpPN] ...
tar for windows 64位绿色版，大量文件打包利器
05-08
用法：tar -cvf \bak\www.tar D:\wwwroot\www 此命令可以打包d盘的www文件夹到d盘bak目录，注意bak前面无需输入盘符。 注意：此命令仅存储，无压缩，这样速度才快，如果需要压缩，请自己更改指令。
tar压缩与分割大文件
LL-Studio的专栏
03-29 6735
在Linux下使用 tar 命令来将文件打包并压缩是很通常的用法了。可是Linux的文件系统对文件大小有限制，也就是说一个文件最大不能超过2G，如果压缩包的的内容很大，最后 的结果就会超过2G，又或者压缩包希望通过光盘来进行备份，而每张光盘的容量只有700M，那么该如何存储呢？解决办法： 将最后的压 缩包按照指定大小进行分割，需要用到split命令。举例说明： 要将目录logs打包压缩并分割成多
(转)使用tar和split打包分割文件
weixin_34278190的博客
05-25 481
tar是文件打包工具，split是文件分割工具，在邮件中发送附件的时候，可能因为附件大小限制，需要压缩并分割，分几封邮件发送。如果需要备份很多资料的时候，打包后的单个文件可能超出文件系统支持的单个文件大小限制的时候，也需要分割成适合大小的文件包。刚好今天又要备份skype文件夹，所以就用这个实例来说明一下tar和split这两个指令，如何压缩、分割，再通过cat合并分割的文件解压还原，以及在管道”...
tar分卷压缩/解压大文件
sealyet的专栏
11-08 3475
传输比较大文件时，或文件大小超出接收方能处理的上限时，一般会分卷压缩后进行传输。 $ tar -czf - data_dir/ | split -b 2G -d - mydata.tar.gz. 上面命令将data_dir目录打包后压缩，通过split分割成2GiB大小的多卷文件，-d参数设置分卷后缀为数字序号，最终输出的多卷压缩文件是 mydata.tar.gz.00, mydata.tar....
Linux || 大文件分割成多个小文件
qq_60271706的博客
09-12 4902
rw-r--r-- 1 root root 8.5M 8月 21 10:21 sc1.txt。-rw-r--r-- 1 root root 8.5M 8月 21 10:21 sc2.txt。-rw-r--r-- 1 root root 8.5M 8月 21 10:21 sc1.txt。-rw-r--r-- 1 root root 8.5M 8月 21 10:20 sc.txt。-rw-r--r-- 1 root root 8.5M 8月 21 10:20 sc.txt。
tar打包split分割分解拆分大包文件
mdj_bj的专栏
12-05 1893
2010-01-26 12:47 http://hi.baidu.com/hovlj_1130/item/fe21d8342e68aa86c3cf2928 tar打包split分割分解拆分大包文件 有时候远程下载tar包的时候，由于包太大，失去连接时，需要重新下载非常郁闷。 这时候使用split分割分解拆分大包文件，然后单个下载下文件就OK。 在Linux下使用 tar 命令来将文
tar命令分割大文件
运维@小兵的博客
08-31 4910
1、在工作中我们遇到这种情况，刚把改好的部署脚本和软件包打成.tar.gz的压缩包，但突然发现脚本还需要修改一行，于是在修改完成后又重新使用tar zcvf 进行打包。如果压缩包较小还能接受，如果比较大呢（5G以上），花了10秒修改了一行代码，但是得等5分钟打一个包，如此这般这般如此，简直太费劲了。 2、直接更新.tar.gz文件的方法没有找到，有些资料说是tar命令不能直接对压缩文件更新，只能对...
tar打包split分割拆分大文件
热门推荐
运用之妙,存乎一心
07-21 1万+
本文介绍下，使用tar命令在打包文件时，与split结合分割拆分大文件的方法，有需要的朋友参考下。 有时远程下载tar包，由于包太大，失去连接时，需要重新下载非常郁闷。 可以使用split分割分解拆分大包文件，然后，单个下载下文件就可以了。 在Linux下使用 tar 命令来将文件打包并压缩是很通常的用法了。 可是Linux的文件系统对文件大小有限制，也就是说一个文件最大不
tar 打包分割 5G
06-09
你可以使用 tar 命令来打包文件或目录，然后使用 split 命令将打包文件分割成指定大小的文件。 下面是一个将目录打包并分割成 5GB 大小的命令示例： ``` tar -cvzf - /path/to/directory | split -b 5G - /path/to/output/files/prefix ``` 解释： - `tar`：打包命令 - `-c`：表示创建一个新的打包文件 - `-v`：显示正在处理的文件 - `-z`：使用 gzip 压缩文件 - `-f -`：将打包文件输出到标准输出 - `/path/to/directory`：要打包的目录路径 - `split`：分割命令 - `-b 5G`：指定每个分割文件的大小为 5GB - `-`：表示从标准输入读取数据 - `/path/to/output/files/prefix`：分割文件的输出路径和文件名前缀 执行完命令后，将会生成多个以指定前缀命名的文件，每个文件大小为 5GB（最后一个文件可能会小于 5GB）。你可以通过将它们连接起来来还原原始文件： ``` cat /path/to/output/files/prefix* | tar -xvzf - ``` 解释： - `cat`：将多个文件合并为一个 - `/path/to/output/files/prefix*`：匹配以指定前缀命名的所有文件 - `|`：将命令的输出作为下一个命令的输入 - `tar`：解包命令 - `-x`：表示从打包文件中提取文件 - `-v`：显示正在处理的文件 - `-z`：使用 gzip 解压文件 - `-f -`：从标准输入读取打包文件数据 - `-`：表示从标准输入读取数据 执行完命令后，将会还原原始的打包文件和目录结构。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值