将文件内容按行随机排列

这篇博客介绍了如何使用脚本将文件内容按行随机排列,以满足从数据中随机抽取部分的需求,而非顺序选取。通过为每行分配不重复的随机数标记,然后按标记排序来实现这一功能。
摘要由CSDN通过智能技术生成

在实际工作上有种需求, 就是需要从给定的数据里,随机抽取一部分。
有一种简单的方法是根据总的数据条数和要抽取的数据条数, 通过简单方法,隔几行取一个,这样也能达到随机抽取一部分的目的。
但这样,源数据是顺序的,则抽取的数据也是顺序的,不满足一些情境。
这里实现的功能是: 将全部数据,按行重新随机排列, 这样从结果头部选几行,就是随机抽取的几行了,比较方便。
实现的思路:  对于N行的数据, 给每一行用[1-N]之间不重复的数做标记, 最后按标记数排列即可。(不重复上要稍微费点儿心思)

实现思路比较重要,实现就简单了~

实现上用c结合shell的方式,下面为参考代码。

#总控脚本:用不重复随机数做标记,然后按标记排序

#!/bin/sh
### note: sh random.sh in_fname out_fname  ###

infile=$1
outfile=$2
line_num=`cat $infile | wc -l `
./random $line_num $infile $outfile.tmp
sort $outfile.tmp -k 2 -n -t '  ' | cut -f1  > $outfile

#随机化的执行程序random的实现

//random.c

#include <string>
#include <iostream>
#in
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值