linux环境大文件切割

最新推荐文章于 2022-07-05 15:57:26 发布
最新推荐文章于 2022-07-05 15:57:26 发布
阅读量175 收藏
点赞数
分类专栏： 其他 文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35887587/article/details/123206664
版权

1.分割

split -b800M -d -a 2 textdiff.tar part

-b：每一输出文档的大小，单位为byte；
-d：使用数字作为后缀；
-a：数字后缀的位数为n位；
-d -a 2 part表示生成的文件名：part00，part01，part02等；

如果是流式文档类型，可以按照行数切分

split -l 10000 baidu.txt -d -a 4 part

-l：按照指定行数切分文档；

2.合并

cat part* > textdiff.tar

3.MD5

linux

md5sum textdiff.tar

mac

md5 textdiff.tar

windows

certutil -hashfile textdiff.tar md5
解夏(̿▀̿ ̿Ĺ̯̿̿▀̿ ̿)
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux zip与tar分卷压缩及合并解压
破茧的日子的博客
12-04 6211
1.zip 分卷压缩与合并解压 1. 分卷压缩 # 将文件或文件夹打包为zip压缩包，imgs可以为文件夹也可以为文件 zip -r imgs.zip ./imgs # 压缩后imgs.zip为2.3G，将其分割，每个子压缩包不超过1G，生成三个压缩包subimgs.z01（1G）、subimgs.z02（1G）和subimgs.zip（0.3G） zip -s 1024m imgs.zip --out subimgs.zip 2. 合并解压 # 将上述三个压缩包合并为一个压缩文件single.z
windows中解压Linux中的tar.gz.part分卷压缩包
weixin_46474546的博客
04-04 1855
windows中解压Linux中的tar.gz.part分卷压缩包
Ubuntu tar包的分卷合并解压
Nismilesucc的学习札记
07-05 1051
解压缩 结果
window下解压tar.gz.part-*文件
angu5630的博客
10-12 1587
window下解压tar.gz.part-*文件，使用如下命令合并文件 copy /b XXX.tar.gz.part-* XXX.tar.gz 如果文件比较大，这里需要较多的时间，耐心等待！ 可以从任务管理器看到磁盘一直在working 然后再用winrar解压
collabora_pok_20130520.tar.part2
05-21
pulseaudio android 移植代码
基于Linux内核的网络性能优化.pdf
09-06
例如：Linux操作系统在发送文件时，需要先将文件切割成若干个数据块，然后再通过系统将数据块逐一发送出去。在系统调用过程中，需要进行用户态和内核态之间相互转换，这就大大提升了CPU使用率。 数据复制也是影响...
C语言歌词解析项目，建议Linux操作系统下运行
最新发布
06-25
C语言歌词解析项目，在Linux Ubuntu开发环境编写运行 功能包括：lrc格式歌词的文件读取、解析、链表创建等，同时在屏幕上将解析出的歌词进行实时显示 主要使用了文件IO、链表和多进程，主要涉及到了双向链表的使用，...
Linux-Learning
04-16
第2阶段：做到文本文件的表格化处理，类似于以键盘交互模式完成Excel表格的排序、计数、筛选、去冗余，查找，切割，替换，合并，补齐，熟练掌握awk,sed,grep这文本处理的三驾马车。第3阶段：元字符，通配符及shell中...
Linux-LVM逻辑卷管理器（ext4文件系统）【部署、扩容、缩容、快照】
01-09
在生产环境中使用磁盘分区或者RAID磁盘阵列卡时，若是对数据的增长没有一个准确的定位，那么可能会导致磁盘空间爆满或空闲太多造成浪费。而磁盘分区和RAID不能进行扩容缩容操作，针对这一点，推出了LVM逻辑卷管理器...
shell脚本卸载数据模板（Oracle）
06-29
脚本中包括数据卸载，编码转换（GBK转UTF8），获取批次号（不同批次卸数使用），尾行加行数，FTP上传、以及增加注释了文件切割成多个文件的语句（针对大文件进行切割使用）。 注意：配置/etl/shell/config中的环境...
linux系统tar文件分割,如何拆分大的tar存档到一定大小的多个文件
weixin_34490905的博客
05-13 3428
你担心通过网络传输或上传大文件，然后不再担心，因为你可以移动你的文件，以处理慢网络速度，通过将它们分割成给定大小的块。在本操作指南中，我们将简要探讨归档文件的创建并将其分割为所选大小的块。 我们将用tar ，在Linux上最流行的归档工具之一，并采取了优势split实用程序来帮助我们打破我们的档案文件成小位。在Linux中创建并将tar拆分为多个文件或部分在我们进一步移动，让我们注意的是，这些工具...
linux-tar分卷压缩与解压缩
liuhaomatou的专栏
07-16 3万+
举例说明： 要将目录logs打包压缩并分割成多个1M的文件，可以用下面的命令： tar cjf - logs/ |split -b 1m - logs.tar.bz2. 完成后会产生下列文件： logs.tar.bz2.aa, logs.tar.bz2.ab, logs.tar.bz2.ac 要解压的时候只要执行下面的命令就可以了： cat logs.tar.bz2.a* | ta
linux下分卷压缩，合并解压的3种方法
热门推荐
aree的专栏
03-21 5万+
我们上传东西的时候，由于文件过大而不能上传，或者不给上传，最明显的就是发邮件了，附件最大5M，有的10M。如果超过了就郁闷了。这个时候，如果能把压缩的东西，分割开来就比较爽了，windows下面我想大家知道怎么分割，利用winrar，winzip图型化设置压缩出来的块的大小。但是在linux下面有没有这样的方法了，linux下面有rar命令，有zip命令，windows下面这二种方式可以分割压缩,
tar 分卷压缩和解压缩
小单的博客专栏
07-24 1万+
示例将 jdk1.8.0_221 文件夹按 98m 进行分卷压缩和解压缩 压缩： tar -czvf - jdk1.8.0_221/ |split -b 98m - jdk1.8.0_221.tar.gz 解压缩： cat jdk1.8.0_221.tar.gza* | tar -xzv
Linux下分卷压缩较大的文件
冰雪世界
08-18 537
有没有遇到某些网站上传复件时，单个文件有大小限制，导致上传失败呢？当然你可以采用更高的压缩率重新生成压缩包来解决，但如果还是超出大小限制，那该怎么办呢？有个方法可以解决此类问题，将压缩包分成多个文件，问题就迎刃而解，这就叫：分卷压缩。 如何进行分卷压缩与解压呢，有如下几个命令可供使用： 假设当前目录下有proc目录。 tar -czf - proc | split -b 2m -d
Linux基本操作之tar命令打包与压缩
常钛
09-25 3312
一、打包与压缩的概念 1、打包：指将多个文件（或目录）合并成一个文件，方便在不同节点之间传递或在服务器集群上部署。 2、压缩：数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩包括有损压缩和无损压缩。 3、压缩或打包文件常见扩展名 *.tar, *.tar.gz,...
linux下大文件分割
吉米_王
02-24 2723
今天有个之前的学生问了我一个问题，宣哥，你之前有没有在Linux下拆分过大文件啊？能不能简单说一下。我们稍后就围绕他问的这个问题简单聊一下。 Linux下大文件分割 个人常用方法主要是两方面： 1、按照篇章数分割； 2、按照文本行数分割； 3、按照文件大小分割； 按照篇章数分割 这种方式应该讲是最常见的，你首先要确定篇章级别的分隔符，然后写个脚本直接分割就可以了，记住此处如果是超大文件，你是需要做限流处理的。 按照文本行数分割 首先我们需要统计文本总行数 然后按照需求切分就可以了 按照文本大小进行切分
Tar切分压缩解压缩
大爱仙尊
04-11 2万+
1.压缩 tar cvzf - ./Data | split -d -b 800m - Data.tar.gz 2.解压缩 cat Data.tar.gz* | tar zvxf -
linux 将json文件拆分,组Json以及拆分Json
weixin_39814093的博客
04-30 413
例子：组Json串：procedure TForm8.Button4Click(Sender: TObject);vari: Integer;jfields, jitems, jo: ISuperObject;beginMemo1.Clear;jitems := SA([]);jo := SO();with ADOQuery1 dobeginFirst;while not eof dobeginj...
linux按大小切割日志文件
05-30
要按大小切割日志文件，可以使用 logrotate 工具来实现。logrotate 工具可以定期对指定的日志文件进行轮转，以便于管理和备份。 以下是按大小切割日志文件的步骤： 1. 安装 logrotate 工具，可以使用以下命令进行安装： ``` sudo apt-get install logrotate ``` 2. 创建一个 logrotate 配置文件，可以在 /etc/logrotate.d 目录下创建一个新的文件，例如 /etc/logrotate.d/myapp。在该文件中，可以配置需要轮转的日志文件、轮转周期、保存的备份数量等参数。例如： ``` /var/log/myapp.log { size 10M rotate 5 compress dateext create 0644 root root } ``` 上面的配置表示，对 /var/log/myapp.log 文件进行轮转，当文件大小达到 10M 时进行轮转，最多保存 5 个备份文件，使用 gzip 进行压缩，备份文件名添加日期后缀，新建备份文件的权限为 0644，属主为 root。 3. 手动执行 logrotate 来进行日志轮转，可以使用以下命令来进行手动轮转： ``` logrotate -f /etc/logrotate.d/myapp ``` 上面的命令表示，强制执行 /etc/logrotate.d/myapp 配置文件中定义的轮转操作。 4. 配置 logrotate 定时任务，定期执行轮转操作。可以编辑 /etc/crontab 文件，添加以下行： ``` 0 0 * * * root logrotate -f /etc/logrotate.d/myapp ``` 上面的配置表示，每天午夜 0 点执行 logrotate 命令来进行日志轮转。 注意：在配置 logrotate 时，需要根据实际情况进行配置，以免误删重要的日志信息。另外，需要按照一定的规则来命名备份文件，以便于管理和查找。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值