shell之计算文本中单词出现频率

最新推荐文章于 2023-01-02 09:28:09 发布
最新推荐文章于 2023-01-02 09:28:09 发布
阅读量129 收藏
点赞数
原文链接：https://my.oschina.net/u/2277632/blog/1839399
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

Word Frequency（https://leetcode.com/problems/word-frequency/description/）

Example:

Assume that words.txt has the following content:

the day is sunny the the
the sunny is is

Your script should output the following, sorted by descending frequency:

the 4
is 3
sunny 2
day 1

然后来看看强大的 awk

awk -vRS='( |\n)+' '{a[$0]++}END{for(i in a)m[a[i]]=i;i=asort(a);for(;i;)print m[a[i]],a[i--]}' words.txt
 

 

 

转载于:https://my.oschina.net/u/2277632/blog/1839399

weixin_34355715
关注
bash 统计单词出现频率
m0_38036892的博客
01-24 475
# /bin/bash #统计单词出现频率 #单词都是小写字母和' '单引号组成。单词之间有一个或多个空格组成。 #test_data_words.txt #统计指定字符 if True;then grep -o -i '\bYOU\b' test_data_words.txt | wc #-o 或 --only-matching #grep -o -i '\bYOU\b' test_data_words.txt | wc -w fi echo "-----------------------" # 有
shell 统计一个词出现的概率_干货满满 | 基于统计的分词算法
weixin_32019373的博客
12-26 557
✖ 导语 ✖本篇主要对分词技术中基于统计的分词方法进行深入的探究，先是介绍了统计方法分词是什么以及一般步骤，随后介绍了语言模型，最后介绍了常见的统计算法(维特比算法)，并实现了统计算法的分词。以下为文章结构，本篇内容干货满满：(阅读全文大概需要20分钟)✖ 统计分词 ✖01统计的分词方法基于统计的分词算法的主要核心是词是稳定的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。...
linux bash shell 统计一个文本中 单词 频率的 脚本详解
weixin_30764771的博客
08-14 301
#!/bin/bash end=$1 cat $2| tr -cs "[a-z][A-Z]" "\n" | tr A-Z a-z | sort | uniq -c | sort -k1nr -k2 | head -n$end 这段bash脚本接收两个参数，分别是 $1和$2，$1表示显示频率最高的$1个单词（即结果中的前$1行），而$2则表示要分...
【shell脚本实例】shell脚本统计单词频率、出现次数最多的n个单词
weixin_30258901的博客
05-12 377
1. 统计的对象words.txt，每个单词占一行（从简考虑了~） zjd@ubuntu:~/test$ cat word.txt used this count mysql count this used mysql linux this redis apple android redis apple 2. 统计每个单词的频率 方法...
写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。
weixin_35749796的博客
01-02 304
可以使用以下脚本实现该功能： #!/bin/bash # 创建一个空的字典 declare -A word_count # 循环遍历文件的每一行 while read line; do # 将行拆分成单词数组 words=($line) # 循环遍历单词数组 for word in "${words[@]}"; do # 在字典中将单词计数器加 ...
shell 统计一个词出现的概率_【shell脚本实例】shell脚本统计单词频率、出现次数最多的n个单词...
weixin_39842237的博客
12-21 1164
1. 统计的对象words.txt，每个单词占一行(从简考虑了~)zjd@ubuntu:~/test$ cat word.txtusedthiscountmysqlcountthisusedmysqllinuxthisredisappleandroidredisapple2. 统计每个单词的频率方法1：zjd@ubuntu:~/test$ cat word.txt |awk '{a[$0]++}E...
shell 统计单词频率
lv941002的博客
10-15 1062
#!/bin/bash #n个出现频率最高的单词 help(){ echo "该shell脚本统计一个文本中出现次数最多的n个单词" echo "usage: sh "$0" filename n" echo "filename 为你要统计的文本名称 n为要统计的单词个数" echo "sh "$0" englist_statment.txt 10&quo
在Spark-Shell中实现单词统计
小楼秋风
07-19 1238
单词文件word.txt，单词以tab分隔 java python hadoop scala mysql hdfs hdfs mapreduce yarn hadoop hadoop scala hive hive sqoop hbase kafka hadoop hbase hadoop hive flume redis redis java python scala sqoop spark spark scala zookeeper flume hadoop hdfs hive # 上传word
写两个Shell程序分别获取该文本的每个句子的单词数、每个单词出现的频率数。
最新发布
05-26
获取每个单词出现的频率数的Shell程序： ```shell #!/bin/bash # 读取文本文件内容 text=$(cat text.txt) # 将文本转换为小写字母 text=$(echo "$text" | tr '[:upper:]' '[:lower:]') # 将文本中的标点符号替换...
python单词个数统计_Python 统计文本中单词的个数
weixin_39766014的博客
11-21 2795
1.读文件，通过正则匹配def statisticWord():line_number = 0words_dict = {}with open (r'D:\test\test.txt',encoding='utf-8') as a_file:for line in a_file:words = re.findall(r'&#\d+;|&#\d+;|&\w+;',line)for word ...
统计文本中单词出现的频率
weixin_33753003的博客
03-16 336
需求：写一个程序，分析一个文本文件中各个词出现的频率，并且把频率最高的10个词打印出来。文本文件大约是30KB~300KB大小。 1.思路 ①数据结构：Word类封装单词String和频率count，并重写equals方法，以key(String)相同则认为Word对象相同。 先从dictionary.txt一行一行读取字符串，使用正则表达式过滤出单词并存放在ArrayList中，遍历lis...
shell 脚本---统计文件中单词的频率
all8023的专栏
11-04 1055
#! /bin/bash if [ $# -ne 1 ] then echo "Usage:$0 args error" fi filename=$1 egrep -o "\b[[:alpha:]]+\b" $filename | awk ' { count[$0]++ }  END{printf("%-14s%s\n","Word","Count"); for(inq in co
主题：Linux基本命令面试题：统计文件a.txt中“每个单词”的重复出现次数
06-23 1774
[请教]统计文件a.txt中“每个单词”的重复出现次数？若该文件大到几个G又该如何处理？ 方案一： #!/bin/sh #定义源文件和临时文件 srcfile=word.txt tempfile_words=tempfile_words tempfile_words_uniq=tempfile_words_uniq #取出所有单...
Linux下统计文本文件中前n个出现频率最高的单词
liangbinny的专栏
12-09 6220
关键脚本： [root@bogon tmp]# cat stat.sh  #!/bin/bash end=$1 #$1,第一个入参，表示统计出现频率最高的单词的个数的前n个 cat $2 | #$2,第二个入参，表示需要统计的文件名 #tr是sed的精简，可以用一个字符替换另一个字符或者删除重复的字符 #-c表示补集，即[a-z][A-Z]的补集，即非字母字符, #-
shell统计文本中单词的出现次数
weixin_33720452的博客
10-31 2847
2019独角兽企业重金招聘Python工程师标准>>> ...
Linux统计文件中单词出现的次数
weixin_30797199的博客
01-05 3631
grep -E "\b[[:alpha:]]+\b" /etc/fstab -o | sort | uniq -c 或 awk '{for(i=1;i<NF;i++){count[$i]++}}END{for(i in count) {print i,count[i]}}' /etc/fstab -E 使用正则进行匹配 \b : backspace 退格 print 参数 表示每...
Linux命令经典面试题：统计文件中出现次数最多的前10个单词
weixin_34269583的博客
03-15 1416
　　使用linux命令或者shell实现：文件words存放英文单词，格式为每行一个英文单词（单词可以重复），统计这个文件中出现次数最多的前10个单词。cat words.txt | sort | uniq -c | sort -k1,1nr | head -10　　主要考察对sort、uniq命令的使用，相关解释如下，命令及参数的详细说明请自行通过man查看，简单介绍下以上...
编写一个程序，统计给定文件中包含的每个单词出现的频率，并按单词表的顺序显示统计结果
crazychen的专栏
12-16 8564
下面代码是从控制台读入数据 package test; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.Collections; import java.util.Co
一天一个shell实例（1）文本中n个出现频率最高的单词(转)
weixin_33743248的博客
04-19 173
写一个文本处理程序，查找文本中n个出现频率最高的单词，输出的结果需要显示这些单词出现的次数，并按照次数从大到小排序。 把问题分成六个步骤： 1，将文本以一行一个单词的形式显示出来 2，将大写字母转换成小写 3，对单词进行排序 4，对排序好的单词列表统计每个单词出现的次数 5，按照出现的次数排序 6，显示单词列表的前n行 脚本的代码如下：   #topn.sh脚本#!/bin...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值