shell随机抽样若干行

最新推荐文章于 2021-12-13 15:24:12 发布
最新推荐文章于 2021-12-13 15:24:12 发布
阅读量5.2k 收藏 1
点赞数 1
分类专栏： Linux 文章标签： shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28743951/article/details/74306552
版权

shell随机抽样实现

[dig@hadoop01 ~]$ shuf -n5 nohup.out
2017-10-18T12:42:46.027+0800    app_data.enterprise_data_gov  711103
2017-10-18T13:37:22.027+0800    app_data.enterprise_data_gov  1616844
2017-10-18T12:43:46.027+0800    app_data.enterprise_data_gov  723722
2017-10-18T14:26:31.027+0800    app_data.enterprise_data_gov  2567132
2017-10-18T12:39:49.027+0800    app_data.enterprise_data_gov  657521

随机抽取5行

参数说明:
-n d 抽取行数为d
-r 可重复

AISeekOnline
关注
专栏目录
【极富参考价值！】第1章 ClickHouse 简介《ClickHouse 企业级大数据分析引擎实战》...
AI天才研究院
12-13 9487
《ClickHouse 企业级大数据分析引擎实战》全书目录目录第1章 ClickHouse 简介第2章 MergeTree 表存储引擎第3章 ClickHouse SQL 执行原理第4章 ...
利用Tensorflow 2框架搭建端到端的语音识别模型，并实践其性能
最新发布
AI天才研究院
08-13 657
语音识别（Speech Recognition）是计算机及其相关领域的一个重要研究方向。如今，随着深度学习技术的进步以及语音处理技术的革新，传统的语音识别方法已无法满足需求，越来越多的人开始关注端到端的语音识别方法。端到端的语音识别方法的主要特点是把声学模型、语言模型、分类器等模块全部整合成一个系统，从而实现一体化、高效率、可靠的语音识别。在本文中，作者将详细介绍如何利用Tensorflow 2和Kaldi库进行端到端的语音识别。
shell 随机从文件中抽取若干行的实现方法
09-15
主要介绍了shell 随机从文件中抽取若干行的实现方法,需要的朋友可以参考下
shell 随机从文件中抽取若干行
weixin_34000916的博客
12-23 637
shuf -n5 main.txt    sort -R main.txt | head -5   awk -vN=5 -vC="`wc -l file`" 'BEGIN{srand();while(n<N){i=int(rand()*C+1);if(!(i in a)){a[i]++;n++}}}NR in a' file   while read line;do echo "...
shell-快速抽样
weixin_30552635的博客
04-02 244
　　有时我们需要对文件进行抽样，这时候只需要一个shell命令就可以抽取固定行数的样本：shuf 　　shuf -n $m $file 　　参数有2: 　　　　-n: 抽样行数 　　　　-r: 是否重复 转载于:https://www.cnblogs.com/estragon/p/10642444.html...
linux 文本随机抽样_shell 随机从文件中抽取若干行的实现方法
weixin_42516178的博客
12-24 1155
shuf -n5 main.txtsort -R main.txt | head -5awk -vN=5 -vC="`wc -l file`" 'BEGIN{srand();while(nwhile read line;do echo "$line $RANDOM";done < main.txt | sort -k2,2n| awk 'NR<=5{print $1}'shuf 命令的...
linux 文本随机抽样_shell 随机从文件中抽取若干行
weixin_39611174的博客
12-24 532
shuf -n5 main.txtsort -R main.txt | head -5awk -vN=5 -vC="`wc -l file`" 'BEGIN{srand();while(nwhile read line;do echo "$line $RANDOM";done < main.txt | sort -k2,2n| awk 'NR<=5{print $1}'shuf 命令的...
Hive之查询语法---分桶和抽样,case when 和 if,列行互转 ,窗口函数 ,row_number  和 rank 和 dense_rank() (6)
桂林算啦粉的博客
09-17 958
一 分桶和抽样查询 1 分桶表数据存储 对 Hive表分桶可以将表中记录按分桶键(字段)的hashcode值分散进多个文件中 ,这些小文件称为桶 . 分区表和分桶表的区别 : 分区表 : 1)分区针对的是数据的存储路径 . 2) 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效...
Hadoop期末考试选择题整合--助力期末绩点提高！
考研渣渣斌斌的博客
12-26 3567
HDFS默认的当前工作目录是/user/$USER, fs.default.name的值需要在哪个配置文件内说明？ A、mapred-site.xml B、hdfs_site.xml C、core-site.xml D、以上均不是 如何启动ssh服务？ == A、 service sshd start== B、service ssh start C、/etc/init.d/ssh status D、service ssh status 关于服务启动正确的是（） A、sbin/hadoop-dae..
【shell】shuf命令提取文件的随机行
AcceptedLin的博客
06-13 2889
【shell】shuf命令提取文件的随机行 shuf命令可以随机提取一个文本文件的不同行，输出到文件或者标准输出中。 shuf 用法： shuf [选项]... [文件] 　或者: shuf -e [选项]... [参数]... 　或者: shuf -i LO-HI [选项]... Write a random permutation of the input lines to standard output. 如果没有指定文件，或者文件为"-"，则从...
linux 命令行随机数,Linux shell命令实现生成随机数方法研究
weixin_39613561的博客
04-28 356
shell作为命令语言，它交互式解释和执行用户输入的命令或者自动地解释和执行预先设定好的一连串的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高级语言中才具有的控制结构，包括循环和分支。Shell基本上是一个命令解释器，类似于DOS下的command。它接收用户命令(如ls等)，然后调用相应的应用程序。较为通用的shell有标准的Bourne shell (sh)和C shell ...
shell编程之随机抽取统计每个人被抽到的次数
小叮当的博客
12-19 364
文章目录创建文件编写脚本输出结果 创建文件 创建一个文本name.txt在~目录里,然后再里面输入以下内容 1.Mike 2.Thomas 3.Abby 4.Richard 编写脚本 随机生成100行四个人编写脚本姓名并且统计次数的shell脚本 #!/bin/bash a1=0 a2=0 a3=0 a4=0 for ((i=1;i<=100;i++)) do num=$(ex...
Shell生成随机数并输出文件对应行
Code Wang的博客
11-24 727
很多时候我们需要生成随机数，且会进一步利用这个随机数处理事情。比如，现在要生成一个随机数A，并继续输出另一个文件的第A行，这个Shell程序如下: #!/bin/bash function rand(){ min=$1 max=$(($2-$min+1)) num=$(date +%s%N) echo $(($num%$max+$min)) } for i in $( seq 1 NUM) do rnd=$(rand MIN MAX) echo $rnd echo $(s
shell编程：完成一个简单的不重复抽取且自动重新开始自动抽奖脚本
wowchx的博客
12-13 3082
实现一个类似于上课点名的抽奖脚本，抽过的人在本轮中不会重复出现，直到抽完为止，且抽完所有人后自动开始重新抽取。
shell 采集数据
肖武的专栏
06-21 1439
使用一条命令抓取一本小说，努力两天，终于成功了curl "http://www.23hh.com/book/1/1019/"|iconv -c -f gbk -t utf8 |sed 's/"/\n/g'|grep -P '^\d+\.html'|awk '{if(NR>0){print "http://www.23hh.com/book/1/1019/"$0}}'|while read l;do
shell采集系统cpu 内存 磁盘 网络信息
weixin_34195364的博客
12-05 116
cpu信息采集cpu使用率采集算法通过/proc/stat文件采集并计算CPU总使用率或者单个核使用率。以cpu0为例，算法如下：1. cat /proc/stat | grep ‘cpu0’得到cpu0的信息2. cpuTotal1=user+nice+system+idle+iowait+irq+softirq3. cpuUsed1=user+nice+system+ir...
Linux压缩数据
……
07-03 485
Linux包含了多种文件压缩工具： gzip软件包是GNU项目的产物，意在编写一个能够替代原先Unix中compress工具的免费版 本。这个软件包含有下面的工具。  gzip：用来压缩文件。  gzcat：用来查看压缩过的文本文件的内容。  gunzip：用来解压文件。这些工具基本上跟bzip2工具的用法一样。 $ gzip myprog $ ls -l my* -rwxrwxr-
Gibbs抽样方法详解
Deep Learning and NLP Farm
10-23 8439
Gibbs抽样方法的作用： 积分，期望或者联合分布很难计算，通常情况下当前面三个问题是NP问题时才需要Gibbs Sampling。 不然的话，直接计算就可以了嘛，既准确又快速，干嘛还要Gibbs Sampling呢。补充一句Gibbs Sampling 只是（也只能）到近似解。 参考模型：           http://www.cnblogs.com/peizhe1
shell利用awk从文件中随机选取n行
理想不再遥不可及
08-28 3776
工作中经常需要在文件中随机抽取几行的数据来分析，但是公司的虚拟机不支持连外网，同时没有shuf工具。 但是默认是有awk工具的。 创建一个shell脚本，内容如下： #!/bin/bash IN_FILE=$1 LINE_NUM=$2 awk -vN=${LINE_NUM} -vC="`wc -l ${IN_FILE}`" 'BEGIN{srand();while(n<N){i=int(r...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值