shell大文件分割成小文件

最新推荐文章于 2023-06-24 17:57:13 发布
最新推荐文章于 2023-06-24 17:57:13 发布
阅读量734 收藏
点赞数
分类专栏： Shell 文章标签： shell 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010815305/article/details/84806950
版权

上周做mysql的数据同步遇到的问题记录如下:

       将hive中的一张大表数据同步到mysql,由于公司对mysql的binlog的限制,因此如果一次全量同步的话(也就是一次load data)会触发mysql的binlog过大错误,因此,就需要将从hive中捞出的数据(在一个打文件中)文件分割成小文件进行load;

       使用shell的split解决这个问题:split -d -l  



再分别将小文件load即可

 

小熊熊-光头强
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell将文件分割成小块文件
NLP与推荐算法
05-28 85
shell文件分割
切割大文件shell脚本
weixin_40275691的博客
07-08 702
大文件切割shell脚本 按照行数来切割 可以按照文件内容的行数来对文件切割 #!/bin/sh lines=$(wc -l $1 | sed 's/ .*//g') #获取命令行第一个参数指定的文件总行数 echo $lines lines_per_file=`expr $lines / 10` #将总行数除以10，得到每份的行数 echo $lines_per_file #将$1指定的文件按照每份文件包括lines_per_file行的大小，分成多份，以_part_文件名+数字的形式命名（-d指定以
[Linux Shell]文件过大可以分割成小文件
weixin_30410999的博客
08-06 184
命令是split，可以split --h查看选项我最常用的是 >split -b 100m XXXX 表示将XXX文件按100m的大小分割，当前目录下就会有很多xaa/xab/xac...开头的文件了 转载于:https://www.cnblogs.com/tracypeace/p/9429629.html...
Shell拆分大文件
weixin_30640769的博客
11-12 527
需求：由于文件过大，不方便进行相关的操作，需要将其拆分成大小小于500000B，即488.28125k的文件。同时，为了保证文件的可读性，行内不可以分割，同时，由于内容是块状可读，按照日期进行分割的，因此不能破坏块状因素。例如，db2diag.log日志文件，其格式如下： 2004-10-11-19.01.56.555034-300 I7109918C313 LEVEL: Event P...
分割大文件SHELL
悠悠午后
02-23 406
#! /bin/bashfl=500000lin1=1lin2=0fname=1linesum=`wc -l $1 | awk {print $1}`echo "FILE [$1]: $linesum"while [[ $lin1 -lt $linesum ]]do let "lin2 = $lin2 + $fl"  echo "file$fname: $lin1 ~ $lin
Shell脚本分割大文件
12-08 359
#!/bin/bash linecnt=`wc -l $1 | awk '{print $1}'` n1=1 file=1 while [ $n1 -lt $linecnt ]; do   n2=`expr $n1 + $2`   sed -n "${n1}, ${n2}p" $1 > $1_$file   n1=`expr $n2 + 1`   file=`expr $file
整理的shell命令使用方法.doc
05-21
12. `split` 命令：将大文件分割成小文件，通常用于处理大数据。 13. `nl` 命令：在输出文件内容时添加行号，方便查看和分析。 14. `sed` 命令：流编辑器，可以对文本进行替换、删除、插入等操作。例如： - `sed ...
八大排序算法的MATLAB实现
06-16
归并排序是采用分治策略，将大问题分解成小问题来解决，通过合并两个已排序的子序列来获得最终的有序序列。`归并排序` 可能是一个包含整个归并排序过程的MATLAB脚本或者函数。 8. **快速排序的优化——Sift** `...
Linux命令学习手册
09-07
34. **`split`** - 将大文件分割成小文件，适用于处理大文件。 36. **`login`、`logout`** - 登录和注销系统，管理用户会话。 37. **`exit`** - 退出Shell或应用程序，结束当前会话。 38. **`man`、`info`** - ...
linux常用命令，我将其列为思维导图的形式，供各位参考
最新发布
11-01
26. **split**：将大文件分割成小文件。 27. **mv**：移动或重命名文件和目录。 28. **vim**：强大的文本编辑器，有命令模式、插入模式和末行模式。常用操作包括：`gg`跳转到文件首行，`G`跳转到文件尾行，`/`搜索...
batch-import
03-27
例如，可以将大文件分割成小批次，分批导入，以降低对系统资源的压力；或者采用异步导入，先将数据暂存，然后在低峰时段进行导入。 5. 错误处理和重试机制：在批量导入过程中，可能会遇到数据格式错误、权限问题、...
【Shell 命令集合 文档编辑】Linux 拆分文件 csplit 命令使用教程
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
06-24 583
`csplit`命令是Linux中的一个用于拆分文件的命令。
Linux文件拆分命令 spilt
热门推荐
u013216061的博客
06-25 1万+
linux split 命令 　　功能说明：切割文件。 　　语　　法：split [--help][--version][-][-b ][-C ][-l ][要切割的文件][输出文件名] 　　补充说明：split可将文件切成较小的文件，预设每1000行会切成一个小文件。 　　参　　数： 　　-或-l 　指定每多少行就要切成一个小文件。 　　-b 　指定每多少字就要切成一个小文件。支持单
通过shell脚本，创建有规则的分库分表
08-12 174
#!bin/bash for i in `seq 0 999` do if [ $(($i%2)) == 0 ] then mysql -uuser -ppassword -hIP -P3306 -e "use db1;drop table if exists testtb_$i; create table testtb_$i like testtb ; " else
linux shell 文件分割
sky0Lan的博客
04-06 1108
split 按照 10m 大小进行分割。
【Shell 命令集合 文件管理】Linux 拆分文件 split命令使用教程
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
06-24 9854
split命令是Linux系统中的一个用于拆分文件的命令。它可以将一个大文件拆分成多个小文件，以便于传输、存储或处理。
shell命令:大文件的拆分和合并
bulucc的博客
04-27 1507
shell命令:大文件的拆分和合并
shell 将大文件平均分割成指定数量的小文件
qq_43382735的博客
04-14 3130
shell 将大文件平均分割成指定数量的小文件 1.假设有大文件hello.csv,先查看大文件行数 file_rows=wc -l hello.csv|awk '{print 1}' 选取wc命令打印结果的第一列，即行数。 2.假设要平均分割成10个小文件 file_num=10 3.生成总行数 file_num_row=$((${file_rows} + 9)) 解释一下为什么要加9，因为行数可能是33333行，除以10的话每个文件就是3333行，就丢失了3行，所以加上（文件数-1）行可以保证行不
[shell]linux使用split切分大文件成为小文件并压缩
charlie2cindy的博客
09-01 1058
文章目录概述一、shell实现总结 概述 该脚本用于切割处理大的文本文件，核心知识点是split函数应用，split使用方法可以参考https://blog.csdn.net/qq_43382735/article/details/115700644 一、shell实现 代码如下： #!/bin/bash # 脚本针对大于20M的文件进行处理：将大文件切割（每个20M）， # 切割后的文件命名最后三位是从1开始的升序数字序列，而后将切割文件压缩（小于20M的不压缩） file_size=`ls -l
shell split分割文件
03-16
shell split命令可以将一个大文件分割成多个小文件，方便传输和处理。使用split命令时，可以指定分割后的小文件大小或者分割后的小文件数量。例如，split -b 100M bigfile.txt会将bigfile.txt分割成每个大小为100MB的小文件。分割后的小文件会以默认的命名规则命名，例如xaa、xab、xac等。可以使用cat命令将分割后的小文件合并成一个大文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值