linux多进程并行压缩/解压命令pigz

最新推荐文章于 2023-12-23 08:00:00 发布
最新推荐文章于 2023-12-23 08:00:00 发布
阅读量7.7k 收藏 6
点赞数 1
分类专栏： linux 文章标签： linux 并行 压缩 解压 pigz
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014114152/article/details/87001875
版权

压缩：
tar cvf - 目录名 | pigz -9 -p 24 > file.tgz
pigz：用法-9是压缩比率比较大，-p是指定cpu的核数。


解压:
pigz -d file.tgz
这时候是tar包，那么再用 tar -xvf file.tar 解包。 

 

更具体的pigz的用法请参考pigz --help

luminais
关注
专栏目录
linux解压文件 使用多进程
yy的博客
09-12 2631
这里以zip压缩包为例 三种方法： 其实两种 一种使用&放到后台 让for进入下一层循环 不阻塞 wait等待最终全部解压完成 另一种是使用xargs -P参数表示使用的进程数 默认使用单个进程 即 P=1；这里给8 则每次会同时运行8个unzip 推荐第一种 for i in {20190801..20190809};do unzip ${i}_0901.zip & do...
Linux BASH多进程并行处理的方法实现
01-11
/bin/bash SEND_THREAD_NUM=13 tmp_fifofile=”/tmp/$$.fifo” # 脚本运行的当前进程ID号作为文件名 mkfifo “$tmp_fifofile” # 新建一个随机fifo管道文件 exec 6<>”$tmp_fifofile” # 定义文件描述符6指向这个...
Linux 加快解压速度,使用 pigz 并行加速 Linux 压缩与解压
weixin_42549451的博客
05-15 3576
Linux下压缩或解压一个文件，通常使用tar.gz格式，对应的工具为 tar(打包工具)以及由-z参数指定的gzip(压缩解压工具)。而默认的gzip工具是单线程工作的，在处理大文件时非常慢。可以通过-I参数指定自定义的并行(多进程、多核)压缩解压工具 pigz 来进行加速。pigz的官方自我介绍：A parallel implementation of gzip for modern mult...
linux服务器上，多用户共享文件夹及用rsync进行同步的解决方案
qq_44345567的博客
09-01 854
基本知识： 只有对象（文件/目录）的属主或root用户可以修改对象的属组。 rsync
pigz 并行压缩
cuizeen198835的博客
08-17 306
并行压缩 #安装 cd /tmp wget http://www.zlib.net/pigz/pigz-2.3.3.tar.gz tar -zxvf pigz-2.3.3.tar.gz 或者 ta...
linux下压缩神器pigz
热门推荐
qq_37610155的博客
11-17 1万+
压缩工具--pigz 压缩： tar cvf - 目录名 | pigz -9 -p 24 > file.tgz pigz：用法-9是压缩比率比较大，-p是指定cpu的核数。 解压: pigz -d file.tgz 这时候是tar包，那么在用 tar -xvf file.tar 解包。  速度比较gz.tar格式的压缩解压速度快N倍
linux平台下一个好用的并行压缩工具（cpu核数越多越快，比tar -j可以快很多倍）
哦，原来你也在这里。
09-30 1766
linux平台一下一个好用的、快速的大文件并行压缩工具
解析PHP实现多进程并行执行脚本
12-18
在PHP编程中，由于其默认不支持多线程，因此在需要进行大量计算或并行处理任务时，开发者通常会采用多进程的方式来提高程序的执行效率。本文将深入解析如何利用PHP实现多进程并行执行脚本，以及相关的关键知识点。 ...
python 多进程并行编程 ProcessPoolExecutor的实现
09-18
主要介绍了python 多进程并行编程 ProcessPoolExecutor的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
linux linux进程管理 常用命令
08-15
Linux 进程管理常用命令 Linux 进程管理是 Linux 系统管理员和普通用户的一项重要任务，主要是监视系统进程的运行状况，并适时终止一些失控的进程。本文将为您介绍 Linux 进程管理的常用命令和应用场景。 1. ps ...
三分钟速学linux-进程管理命令
01-09
linux进程命令一、ps -显示进程状态二、pstree – 以树状图显示进程三、pidof – 返回运行程序的进程ID四、 pgrep命令 – 用于检索当前正在运行的进程五、top命令 – 实时显示进程动态六、lsof – 查看进程文件七、...
Linux监视进程之ps命令详解
01-10
本文参考《UNIX/Linux系统管理技术手册》。 操作系统：Debian8.5 仅仅以下常用的三种组合命令的解释，更加齐全的命令请自行ps --help all 查看。 一、ps -ef 输出展示： UID PID PPID C STIME TTY TIME CMD root 1 ...
Linux中关于控制进程的命令总结
01-20
在Linux中有哪些控制进程的命令呢，我们来看看先～ 操作系统：Debian8.5 注意：下述中的n，代表的是jobs中的序号 1、查看Linux中有哪些在后台运行的进行命令：jobs root@wing-01:~ # jobs [1]+ Stopped python ...
linux c下多进程的例子
05-04
多进程是指在一个操作系统中同时运行多个进程，它们可以并行执行，提高系统的资源利用率和执行效率。 在Linux中，创建新进程通常使用`fork()`函数。这个函数会复制当前进程的所有资源，包括代码、数据和打开的文件...
shell pigz高效压缩解压命令
五月的田野
07-26 8597
命令详解 pigz 高效多线程，可代替gzip # 压缩：pigz：用法-9是压缩比率比较大，-p是指定cpu的核数。 tar cvf - mydir | pigz -9 -p 24 &amp;gt; file.tgz # 解压: pigz -d file.tgz pigz -dc file.tgz # cat的形式打印出来 Options: -0 to -9, -11 ...
Linux下 自定义多线程并发快速压缩解压缩脚本
最新发布
月光技术杂谈
12-23 719
Linux下常用的tar工具无法支持并行 压缩和解压，对于大量小文件的解压缩，可借助pigz工具实现多线程并行工作，实现更为高效的压缩和解压缩
pigz更快的压缩和解压工具
永远在学习Linux之路上
12-01 4436
pigz(parallel implementation of gzip)是一个并行执行的压缩工具，解压缩比gzip快，同时CPU消耗是gzip的好几倍，在对短时间内CPU消耗较高不受影响的场景下，可以使用pigz。 环境 Centos7 RAM:2GB , CPU: 4vcpus 安装 # 安装epel扩展源 [root@localhost ~]# wget -O /etc/yum.repos.d/epel-7.repo http://mirrors.aliyun.com/repo/epel-
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值