多线程打包分包

最新推荐文章于 2023-11-17 16:38:34 发布
最新推荐文章于 2023-11-17 16:38:34 发布
阅读量270 收藏
点赞数
分类专栏： Linux 文章标签： linux shell 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011306419/article/details/105814847
版权

分包压缩

使用128线程对文件夹进行压缩，并将压缩有的文件分割为10G大小

tar -c /path/to/dir | pigz -p 128 -c | split -a 5 -d -b 10G - file_split.Ggz


解压

将分割的文件还原回来，并用pigz进行解压

cat file_split.gz* > file_split.gz
pigz -p 128 -dc  file_split.gz | tar xf -


 

蛇胆隆力奇
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
c# Socket 多线程 分包 发送/接受数据
03-06
c# Socket 多线程 分包 发送/接受数据 客户端 分包发送数据，服务端接受并相应， 第一次接触Socket也不知道理解的对不对 有问题的还请见谅
Maven打包使用多线程加速构建过程
最新发布
一起coding，一起嗨。
01-05 1363
在Maven项目中，特别是在包含大量模块的大型项目构建时，编译和打包阶段可能会消耗较长时间。为了提升构建效率，Maven支持通过多线程进行并行构建，从而显著减少整体打包时间。本文将介绍两种启用Maven多线程打包的方式：命令行参数-T的使用以及在IntelliJ IDEA中进行相关配置，并介绍几个常用的-D参数以优化构建流程。
tar 使用多线程打包以及解压tgz
大魔导师的博客
09-02 4388
其实很简单，只需要一个参数就搞定了 tar打包tgz tar --use-compress-program=pigz -cvpf XXX.tgz XXX tar解压tgz tar --use-compress-program=pigz -xvpf XXX.tgz
Linux下如何多线程打包
Three_dog的博客
12-12 1881
文件结构 data # 待打包的文件夹 ├── DEBIAN # 这里放着各种安装包的描述、配置文件，还有安装前后执行的脚本等 │ ├── control │ ├── copyright │ └── postinst ├── opt # 安装目录下的相对内容 ├── etc # 安装目录下的相对内容 └── usr # 安装目录下的相对内容 打...
socket笔记4 粘包/分包的原因和处理方法 // 多线程
番茄锅涮代码
03-02 546
2-60 解决粘包、分包问题 粘包原因： 当发送的字节数据包比较小且频繁发送时，Socket内部会将字节数据进行粘包处理，既将频繁发送的小字节数据打包成 一个整包进行发送，降低内存的消耗。 发送端发送的太快，接收方没有及时接收缓冲区的包，造成多个包一起被接收 分包原因： 当发送的字节数据包比较大时（大于缓存剩余空间大小 或者 大于最大报文长度），Socket内部会将发送的字节数据进行分包处理...
stm32单片机多线程实例
12-03
stm32单片机多线程实例
qt websocket 客户端 多线程使用
09-16
qt 使用QWebSocket 创建websocket客户端来读取数据，异步链接，并且放入到线程中去执行，线程池的基础，代码使用两个用户，放入到一个线程中执行，同理，可以多个用户放入到多个线程中执行，为线程池执行websocket ...
c# window服务多线程实例
08-10
c# window服务多线程实例
线程池管理多线程上传
01-15
使用线程池管理多线程上传，包含了文件拆分，文件分片多线程上传，单文件上传。多线程执行任务等待管理。拒绝直接new Thread创建新线程导致的诸多问题
c语言多进程多线程编程
07-21
c语言多进程多线程编程
详谈Linux打包与压缩及tar命令
01-11
打包和压缩 在linux中，打包和压缩可以说是两个不同的概念，弄清这两个概念对于我们理解复杂的文件后缀有非常大的帮助 打包 将若干个文件和目录打包在一起变成一个大的文件，这时只是简单的打包，所以一般打包后的文件大小比被打包的文件总和还大 压缩 将一个文件根据一定的算法变成一个小文件，压缩比用来衡量压缩前与压缩后的文件大小比值 压缩 在linux中主要有三个压缩命令gzip、bzip2、xz，它们各自采用不同的压缩算法，说明及常用参数如下： 压缩命令 gzip bzip2 xz 文件名后续 .gz .bz2 .xz 参数-d 解压缩 解压缩 解压缩 参数-k — 压缩时保
linux - 多线程打包压缩
weixin_42421766的博客
03-06 4668
tar -cvpf - $Dir | gizp -9 -p 6 $target-name tar -cvpf - /usr/bin | gizp -9 -p 6 bin.tgz gzip: -9 : 代表压缩率 -p : 代表CPU数量
linux下快速打包/多线程压缩文件的方法
SimonLiu的博客
05-14 7988
文章目录打包大量文件2. 多线程压缩文件2.1 与tar配合使用2.2 更多用法 今日遇到一个问题，就是把一个远程主机生成的10万个图片文件（训练集）传到kaggle。所以第一个遇到的问题，就是将这10万个图片打包。 打包大量文件 首先如果直接打包文件（非文件夹），会提示zip: Argument list too long。所以需要参照这篇博文使用find配合zip打包，发现开始速度很快，但是过了12小时居然还没结束（可能是因为远程主机的IO资源受限了，通过top命令查看cpu和mem占用并不大）。 后来
linux系统中使用多线程压缩文件夹
weixin_44162814的博客
11-17 800
多线程压缩很快.用来压缩origin_data,最后生成target_data.tar.gz。
socket连接---多线程 线程池---TCP/IP半包、粘包、分包
单向街的夏天
05-11 7138
一  ServerSocket工作原理：                      客户端socket请求连接Serversocket的请求连接，按照请求顺序进入客户端连接请求队列(队列的容量是由操作系统完成的)，ServerSocket的构造函数中的backlog就是用来指定请求队列的长度。 这个值会失效的三种情况：大于操作系统默认值|小于等于0|没有设置。 （见下面）
分包原则
qq_27803495的博客
07-07 1126
coding作为软件开发中至关重要的一环，以至于很多人都忽略了分包。良好的分包，不仅能使项目更易于维护，也能让新加入的开发人员更快的读懂代码，对于整个系统的层级结构有着十分重要的作用，良好分包的作用可见一斑，因此建议大家在开发项目的过程中一定要注意分包。常用的分包方式分为两种：1.按业务分包；2.按功能分包按业务分包是指，将所有与业务有关的代码放在一个大包中，一层一层按业务分级；按功能分包，是指，...
Linux下提高压缩速度——多线程压缩pigz
热门推荐
guotianqing的博客
04-24 1万+
常用压缩 Linux下常用的压缩包括： tar: 如 tar zcvf a.tgz ./a zip: 如 zip -qr a.zip ./a 如果只在Linux系统上使用，应用最多的是tar，如果涉及到与windows交互，一般用zip。 但有一个问题，就是它们在压缩时，最多占用一个cpu到100%，是单线程的，当要处理的文件比较大时，将非常耗时。 这里以使用tar为例，来介绍一下多线程压缩工具pigz。 使用多线程pigz 通过查看tar的man page，可以看到Compression opti
pigz多线程压缩文件
caz28的专栏
09-13 1万+
pigz是linux下多线程压缩软件，发音： “pig-zee”。 使用方法： tar cf - mydir | pigz >mydir.tgz 如果文件少可以： tar cvf - mydir | pigz >mydir.tgz 加v参数，显示压缩的文件列表。文件多显示会比较费时间。 与单线程gzip压缩相比，速度快。 我在28核56线程的机器上，压缩一个android项目，单
webpack 多线程打包
05-18
Webpack 多线程打包可以提高构建速度，可以通过以下两种方式实现： 1. HappyPack HappyPack 是一个开源的 Webpack 插件，它可以将模块的解析和加载等操作分解到多个子进程中，从而加快构建速度。使用 HappyPack ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值