图解Linux命令之--split命令

最新推荐文章于 2023-03-15 15:37:19 发布
最新推荐文章于 2023-03-15 15:37:19 发布
阅读量1k 收藏
点赞数 1
分类专栏： 【编程语言】 【操作系统】 【系统运维】 【系统测试】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jerry_1126/article/details/52664361
版权

split-->拆分命令，将一个大文件拆分为多个小文件，默认1000行拆分一个小文件

适用场景:

大文件传输问题，或者很大的日志的文件，无论是用vi/vim打开，或下到Windows下用Editplus， 很耗内存，且速度很慢，要分析起来效率很低，这时候就可以考虑用split命令

备注:

1) 大数据在跨服务器分隔、传输、校验示例：


杰瑞26
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2. linux split 方法详解
IT_arookie的博客
09-11 684
2. linux基础操作命令详解 – split 语法 ：        split（选项）（file）PREFIX 选项 ： 参数 说明 -b 值为每一输出档案的大小，单位为byte，按大小分割。 -C 每一输出档中，单行的最大byte数，保持行的完整性。 -d 使用数字作为后缀。 -l 值为每一输出档的列数大小，按行分割 PREFIX 代表前导符，可作为切割文件的前导文件. 示例： 把文件按100k大小分割成多分   其他方法1 _按大小分 dd if=/dev/ze
shell命令之split
52Pig的专栏
06-17 8945
听人说做文本分类时处理100G的文本文件，居然不用大数据，处理方法就是用shell的split去分割成若干小文件。 split命令 NAME split - split a file into pieces SYNOPSIS split [OPTION] [INPUT [PREFIX]] DESCRIPTION Output fixed-
linux split函数,Linux split 和 cat详解
weixin_34729012的博客
05-03 415
1、文件的切分及结合工具；可能我们遇到这种情况，有时文件比较大，想上传到服务器 上，但由于服务器 管理员为了安全 考虑，把上传空间作了限制，比如只能上传20M的文件，如果我们文件的体积在100M的，有时就是压缩也不能满足服务器上传的限制。这时我们就要考虑切分文件了，把100M的文件，切分成若干份，然后传到服务器上。切分后的每个文件都是原文件的组成部份。如果要获得整个完整的文件，我们就需要文件的结合...
shell split 功能实现方法
易的专栏
01-09 3万+
1.用shell数组实现 #!/bin/bash      str="hello,world,i,like,you,babalala"   arr=(${str//,/ })      for i in ${arr[@]}   do       echo $i   done 注：当字符串短（分隔字符不超过1000）的时候，速度还可以容忍。当分隔字符上千时速度有点无法
如何在XShell中按照数据条数进行切分数据-------基于hive
qq_40765464的博客
10-30 862
对于比较大的数据文件，无论是在excel中还是txt中，打开会很慢，在excel中最多容纳一百多万行。下面根据我自己的实战经验分享给大家，我是根据条数切分的，还可以根据文件大小进行切分。可以用split，也可以用head。 首先可以查看下数据有多少条：   create table test as SELECT id,row_number() over (partition by to_...
Xshell基本命令指南
最新发布
通信网络探索与研究YYDS
03-15 4069
Xshell基本命令指南
Vim命令图解
10-20
### Vim命令图解知识点 #### 一、简介 Vim是一款功能强大的文本编辑器，在Linux和其他类Unix系统中广泛使用。对于程序员和技术人员而言，掌握Vim的基本操作和高级技巧至关重要。本文将根据提供的“Vim命令图解”...
Linux/Unix AWK详细用法中文图解
09-01
结合图解教程，理解并掌握AWK的用法将极大地提升你在Linux/Unix环境下的工作效率。无论是在日志分析、系统监控还是数据转换中，AWK都将成为你的得力助手。所以，不妨深入探索这个强大的文本处理工具，让AWK成为你的...
Linux虚拟机安装过程图解.doc
12-09
- **在Linux下安装**（适用于已安装Linux系统的用户）：首先将安装文件放置在`/tmp`目录下，然后执行以下命令进行解压和安装： - `tar –zxf VMware-workstation-4.0.5-6030.tar.gz` - `cd ./vmware-distrib` - ...
VI VIM 命令详解 (键盘图)
05-14
VIM（Vi IMproved）是Linux、Unix及类Unix系统中的一个强大文本编辑器，它在传统的VI编辑器基础上进行了扩展和改进，提供了更丰富的功能和更高的效率。VIM使用键盘操作，对于程序员和系统管理员来说，掌握VIM的命令...
使用idea编写Spark Streaming_WordCount
汉子一枚
04-16 1233
需求&准备 图解： 首先在linux服务器上安装nc工具 nc是netcat的简称，原本是用来设置路由器,我们可以利用它向某个端口发送数据 yum install -y nc 启动一个服务端并开放9999端口,等一下往这个端口发数据 ==nc -lk 9999 == 发送数据 代码演示： package cn.itcast.streaming import org.apache.s...
shell split字符串的几种方法
热门推荐
xzw_123的专栏
01-20 6万+
在shell 中以 ， split 字符串如下 str="aaa,bbb,ccc,ddd" 1） echo $str |awk -F, '{print $1}'  或者是 echo $str|cut -d"," -f1  都能达到目的，但是由于文件很大，有很多行，上述方式需要开辟管道，会启动新进程，效率很低下。  2） arr=(${str//,/
Linux 命令split 详解（参数详解）
phantom_dapeng的博客
03-26 1万+
在Linux上输入：split --help 或者 man split 可以看到相应的英文说明Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or when INPUT is -, ...
linux split命令参数及用法详解---linux分割文件命令
似水流年
08-10 8990
功能说明：分割文件。 Split:按指定的行数截断文件 格式: split [-n] file [name] 参数说明： -n: 指定截断的每一文件的长度，不指定缺省为1000行 file: 要截断的文件 name： 截断后产生的文件的文件名的开头字母，不指定，缺省为x，即截断后产生的文件的文件名为xaa,xab....直到xzz 例一： split -55 myfile ff
Shell基础之-split命令
weixin_33716557的博客
09-07 785
split命令 首先，大家如果看到有什么不懂的地方，欢迎吐槽！！！ 我会在当天或者第二天及时回复，并且改进~~ split命令用于将大文件切割成小文件，split命令可以按照文件的行数、字节数切割文件，并能在输出的多个小文件中自动加上编号。 split命令选项及其意义 -或-l #此两个选项等价，都用于指...
shell 采用split指令拆分文件
SK_Lavender的博客
11-18 5342
$ # 有一个文件 111.txt，有412行 $ wc 111.txt 412 413 4073 111.txt $ file=111.txt $ $ # 切分均等4份，保存为 xyzzy.* 文件 $ num=4 $ split --number=l/${num} ${file} xyzzy. $ ls -l | grep xyzzy. xyzzy.aa xyzzy.ab xyzzy.ac
linux split
doctorone的博客
03-11 809
split -b 100m xxx xxxx cat *xxx > xxx.tar
Linux split 和 cat详解
数据库天地
04-12 261
名称：split 使用权限：所有使用者 使用方式：split [OPTION] [INPUT [PREFIX] 说明： 将一个档案分割成数个。而从 INPUT 分割输出成固定大小的档案，其档名依序为 PREFIXaa, PREFIXab...；PREFIX 预设值为 `x。若没有 INPUT 档或为 `-，则从标准输入读进资料。 匡兜 -b, --bytes=SI...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值