最全Linux 大文件快速处理小的办法_linux 减小bin文件大小(1)，2024年最新老师讲的真棒

本文链接：https://blog.csdn.net/2301_76225520/article/details/138529931

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前在阿里

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

!/bin/bash
count=0
cat oriTest.txt | while read data
do
count=$(( $count+1 ))
echo $count
dir=echo "$data" | awk -F "\t" '{print $5}'
if [ -e $dir ];then
echo "$data" >> exist.txt
else
echo "$data" >> noexist.txt
fi
done

原始数据格式如下：

name mark id dir

运行时发现处理5000行需要将近4、5分钟的时间(机器为8核)，果断不行啊，随后打算采用多进程的方法来执行，见方法2

b. 方法2

主要是通过将大文件分为小文件，然后对小文件进行后台遍历读取，脚本如下：

!/bin/bash
source ~/.bashrc

判断路径是否存在

readdata(){
cat $1 | while read data
do
dir=echo "$data" | awk -F "\t" '{print $5}'
if [ -e $dir ];then
echo "$data" >> "exist\_$1.txt"
else
echo "$data" >> "noexist\_$1.txt"
fi
done
}

大文件切分为小文件，生成文件名为xaa,axb等(可以自己命名文件)

split -l 10000 oriTest.txt



**先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前在阿里**

**深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/57ffe6e4d0498d20d10b2c2f81f0d391.png)
![img](https://img-blog.csdnimg.cn/img_convert/6cc0f53ec294f4102592403405a9f800.png)
![img](https://img-blog.csdnimg.cn/img_convert/d29c81ce0622c89788fc6e41aae608d0.png)
![img](https://img-blog.csdnimg.cn/img_convert/fdfcf465b079b0c18f7e5abc4de2bf9b.png)
![img](https://img-blog.csdnimg.cn/img_convert/0f8f40d0007c7de7a4d4cdb1250ba3d8.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618542503)**

笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618542503)**