Linux 大文件如何切割与合并？，教你一种更清晰的Linux运维架构

Linux下大文件切割与合并

---

1. 文件切割 - split

---

在 Linux 系统下使用 split 命令进行大文件切割很方便。另外，Linux 系列面试题和答案全部整理好了，微信搜索Java技术栈，在后台发送：面试，可以在线阅读。

[1] 命令语法

# -a: 指定输出文件名的后缀长度(默认为2个:aa,ab…)

# -d: 指定输出文件名的后缀用数字代替

# -l: 行数分割模式(指定每多少行切成一个小文件;默认行数是1000行)

# -b: 二进制分割模式(支持单位:k/m)

# -C: 文件大小分割模式(切割时尽量维持每行的完整性)

split [-a] [-d] [-l <行数>] [-b <字节>] [-C <字节>] [要切割的文件] [输出文件名]

[2] 使用实例

# 行切割文件

$ split -l 300000 users.sql /data/users_

# 使用数字后缀

$ split -d -l 300000 users.sql /data/users_

# 按字节大小分割

$ split -d -b 100m users.sql /data/users_

[3] 帮助信息

# 帮助信息

$ split --help

Usage: split [OPTION]… [FILE [PREFIX]]

Output pieces of FILE to PREFIXaa, PREFIXab, …;

default size is 1000 lines, and default PREFIX is ‘x’.

With no FILE, or when FILE is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.

-a, --suffix-length=N   generate suffixes of length N (default 2)            后缀名称的长度(默认为2)

–additional-suffix=SUFFIX  append an additional SUFFIX to file names

-b, --bytes=SIZE        put SIZE bytes per output file                       每个输出文件的字节大小

-C, --line-bytes=SIZE   put at most SIZE bytes of records per output file    每个输出文件的最大字节大小

-d                      use numeric suffixes starting at 0, not alphabetic   使用数字后缀代替字母后缀

–numeric-suffixes[=FROM]  same as -d, but allow setting the start value

-e, --elide-empty-files  do not generate empty output files with ‘-n’        不产生空的输出文件

–filter=COMMAND    write to shell COMMAND; file name is $FILE           写入到shell命令行

-l, --lines=NUMBER      put NUMBER lines/records per output file             设定每个输出文件的行数

-n, --number=CHUNKS     generate CHUNKS output files; see explanation below  产生chunks文件

-t, --separator=SEP     use SEP instead of newline as the record separator;  使用新字符分割

‘\0’ (zero) specifies the NUL character

-u, --unbuffered        immediately copy input to output with ‘-n r/…’     无需缓存

–verbose           print a diagnostic just before each                  显示分割进度

output file is opened

–help     display this help and exit                                    显示帮助信息

–version  output version information and exit                           显示版本信息

The SIZE argument is an integer and optional unit (example: 10K is 10*1024).

Units are K,M,G,T,P,E,Z,Y (powers of 1024) or KB,MB,… (powers of 1000).

CHUNKS may be:

N       split into N files based on size of input

K/N     output Kth of N to stdout

l/N     split into N files without splitting lines/records

l/K/N   output Kth of N to stdout without splitting lines/records

r/N     like ‘l’ but use round robin distribution

r/K/N   likewise but only output Kth of N to stdout

GNU coreutils online help: http://www.gnu.org/software/coreutils/

Full documentation at: http://www.gnu.org/software/coreutils/split

or available locally via: info ‘(coreutils) split invocation’

---

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Linux运维工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Linux运维知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip1024b （备注Linux运维获取）

最全的Linux教程，Linux从入门到精通

======================

1. linux从入门到精通(第2版)

2. Linux系统移植

3. Linux驱动开发入门与实战

4. LINUX 系统移植 第2版

5. Linux开源网络全栈详解 从DPDK到OpenFlow

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读，同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-slgt7ycf-1712671594226)]