awk打乱文件行顺序

最新推荐文章于 2021-09-15 15:16:28 发布
最新推荐文章于 2021-09-15 15:16:28 发布
阅读量2.4k 收藏
点赞数
分类专栏： 系统相关
假设一个文件是已经排好序的，现随机抽取里面的部分。为了达到随机性，需要对文件打乱顺序后再抽取 

Shell代码   收藏代码
  1. [root@localhost tmp]# for i in {1..10}; do echo "$RANDOM $RANDOM $RANDOM"; done | sort -n > t  
  2. [root@localhost tmp]# cat t  
  3. 129 32444 4962  
  4. 149 19841 3307  
  5. 2327 21849 3066  
  6. 4138 28425 21201  
  7. 5076 20742 2021  
  8. 11646 4268 18112  
  9. 16553 16363 6218  
  10. 21182 8495 26533  
  11. 24534 8485 24987  
  12. 29942 1816 4658  
  13. [root@localhost tmp]# awk 'BEGIN{srand();} {printf "%s %s\n", rand(), $0}' t | sort -k1n | awk '{gsub($1FS,""); print $0}'  
  14. 11646 4268 18112  
  15. 4138 28425 21201  
  16. 5076 20742 2021  
  17. 21182 8495 26533  
  18. 129 32444 4962  
  19. 149 19841 3307  
  20. 2327 21849 3066  
  21. 24534 8485 24987  
  22. 16553 16363 6218  
  23. 29942 1816 4658  
  24. [root@localhost tmp]#   
LegenDavid
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【shell】【awk】常用命令 使用awk 按行打乱(shuffle)数据文件
delacroix_xu的专栏
05-22 5918
cat  1.txt  | awk  -F"\3" 'BEGIN{srand();}{value=int(rand()*10000000); print value"\3"$0 }' | sort | awk -F"\3" '{print $2}'
awk解决乱序问题
Lubin的编程专栏
05-08 510
由于awk数组的实现机制，导致遍历输出时会乱序。典型的程序如下： awk -F "\t" '{ field=$1"\t"$2 new[field]=$1"\t"$2"\t"$3"\t"$4 }END{ for(i in new){ print new[i] } }' file.txt > file2.txt 这段代码产生的结果将是乱序的。 于是想了一个办法借用行号标识存储数据达到目的。 awk -F "\t" '{
小用法，使用awk来对文件随机抽取n行
热门推荐
tianjinsong的专栏
08-14 1万+
http://www.cnblogs.com/chenhuan001/p/6297615.html from here 小用法，使用awk来对文件随机抽取n行 awk 'BEGIN{srand()} {print rand()"\t"$0}' input_file | sort -nk 1 | head -n line_num | awk -F "\t" '{print
AWK 将文本按行打乱顺序
zjbzwhwhz的博客
12-15 1158
仅供自己复习之用。 原文：http://www.iteye.com/topic/1124827 129 32444 4962 149 19841 3307 2327 21849 3066 4138 28425 21201 5076 20742 2021 11646 4268 18112 16553 16363 6218 21182 8495 26533 24534 8485 24
Linux shell：使用AWK产生随机数/随机字符串
匿_名_用_户的专栏
11-05 6080
有时候做测试，需要一些随机数，awk中的rand()函数就可以产生随机数 rand()说明如下： rand()函数返回[0,1)之间的浮点数 int( n * rand() )，返回[0,n)之间的整数，也就是0~n-1之间的随机数 int( n * rand() ) + 1，返回1-n之间的随机数 注意，这里的int()是一个函数，不是表示整形，所以一定要加上括号，它的作用是取
awk统计文件中某关键词出现次数的命令
09-15
awk统计文件中某关键词出现的次数，供朋友们学习参考
提取leach图像的awk文件
06-03
提取leach图像的awk文件提取leach图像的awk文件提取leach图像的awk文件
sed或awk处理文件最后一行的实现方法
01-11
有如下的文本：abcd 1234 fds2011 5501023 832er 1231...分别用sed与awk来实现。sed： 代码如下:echo ‘abcd 1234 fds2011 5501023 832er 1231′ |sed -r ‘$s/([^ ]*)( )([^ ]*)( )(..).*$/total1:\1\2total:\3\4\5end
生成awk测试文件的shell脚本文件
04-14
生成awk测试文件的shell脚本文件，文件共有两个参数（可全部留空），第一个参数是生成的新文件名称，第二个参数是key值名称，也就是内部的重复循环部分的字符串
一个乱序脚本（awk）
sundful的专栏
08-18 224
好用而且效率高，特分享： awk 'BEGIN{srand()}{b[rand()NR]=$0}END{for(x in b)print b[x]}' 需要乱序的文件 原理：生成一个随机数来加上行号，取出对应的行内容。最后再输出。...
如何乱序排列文件内容
09-28 1068
ChinaUnix 确实是 Shell 高手云集的地方，只要你想得到的问题，到那里基本上都能找到答案。r2007 给出了一个取巧的方法，利用 Shell 的 $RANDOM 变量给原文件的每一行加上随机的行号然后根据这个随机行号进行排序，再把临时加上去的行号给过滤掉，这样操作之后得到的新文件就相当于被随机“洗”了一次：while read i;do echo "$i $RANDOM";done
如何乱序输出文本
littlewhite1989的专栏
10-08 3295
休息了七天，大家都表示很累，于是今天大部分人又在公司休息了一天，是这个节奏吧。今天就推个简单的Linux技巧，问题描述如下 一个文本文件，如何按行乱序输出 这是我在工作中真实遇到的一个小问题，当时的场景是这样的，我们做了一个从网页里提取图片的策略，为了提升策略的效果我们需要找一些badcase，再针对这些badcase做优化，找专人评估既有沟通成本还要等排期，于是经理鼓动组内同事每人评估1
Linux下 对文件行数打乱（乱序排列）
ZHO9504的博客
04-24 3645
   更新：2018-04-2713:25:25 其实直接用shuf就行： trainname='_train' testname='_test' shufname='_shuf' path="/data/mt/haiouzhang/lang_all/clean/all_lang/all_clean_2/" for lang in ar bn km my ne tl ur hi kk he...
通过awk在Linux下打乱文件内容的顺序
lvfengchang1220的专栏
12-19 3204
假设一个文件是已经排好序的，现随机抽取里面的部分。为了达到随机性，需要对文件打乱顺序后再抽取  Shell代码   [root@localhost tmp]# for i in {1..10}; do echo "$RANDOM $RANDOM $RANDOM"; done | sort -n > t   [root@localhost tmp]# cat t  
Linux 文件打乱顺序
weixin_30653023的博客
09-06 783
catin.txt|awk'BEGIN{srand()}{printrand()"\t"$0}'|sort-k1,1-n|cut-f2->out.txt sort -R in.txt > out.txt 后者要计算每行的hash，再排序，在文件内容比较多的情况下前者要比后者快得多 参考文献： http://blog.csdn.net/littl...
Linux下os.listdir()文件乱序
Vanish_Lin的博客
09-15 973
最近把在Win10下写的一个python脚本放在树莓派上运行，发现出现文件乱序的问题。 在读取文件夹内数据的时候，用到了os.listdir()这个函数，用于列出文件夹内文件列表。 myList = os.listdir(folderPath) 输出结果显示没有按照数字顺序排列 原因：调用的os.listdir()函数在linux下需要重新排序 在list下面用sorted（）再排序一下就ok了。 和list.sort()不同，它是python的内置函数，相当于新建一个列表，然后返回一..
linux命令（48）：打乱一个文本文件的所有行
weixin_34129145的博客
12-14 738
如果用python读进内存再打乱的思路，如果大文件的话，就比较麻烦了 网上找到一个简单的方法，shuf： $ shuf --help 用法： shuf [选项]... [文件] 　或者: shuf -e [选项]... [参数]... 　或者: shuf -i LO-HI [选项]... 把输入行按随机顺序输出到标准输出。 长选项必须使用的参数对于短选项时也是必需使用的。 -e, --...
[shell应用]——打乱文件顺序
卓越&极致
09-11 6503
一般我们都会使用排序功能，但也会遇到要打乱排序的情况，之前我有一个脚本是统计所有平台的名字，默认就会按名字进行有序的排列，但一台server上可能在同时并发上10个连接的时候会出现被拒绝的情况，所以要打乱整个排序，让同时10个并发不是请求到1台server上面。所以打乱排序就变得有意义了。 * 一行中各列打乱 * 一个文本中各行打乱 awk 'BEGI
linux awk提取文件
最新发布
08-09
Linux中的awk是一个强大的文本处理工具，可以用于提取文件中的特定内容。使用awk时，可以指定一个模式和一个动作来提取所需的数据。 例如，如果要提取文件中的第3列和第6列内容，可以使用以下命令： awk '{print $3, $6}' filename 这将打印出文件中每一行的第3列和第6列内容。你可以将filename替换为你要处理的实际文件名。 另外，你还可以使用其他特定的模式和动作来执行更复杂的操作。你可以使用BEGIN和END关键字在处理之前和之后执行一些初始化和总结操作。并且你可以在动作中使用条件语句和循环等语法来进行更复杂的数据处理。 总之，使用awk可以方便地提取文件中的特定内容，并根据需要执行各种数据处理操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值