使用shell统计出出现次数排名top10的网址

最新推荐文章于 2022-12-30 17:56:18 发布
最新推荐文章于 2022-12-30 17:56:18 发布
阅读量3.7k 收藏 1
点赞数
分类专栏： # PYTHON 文章标签： 统计排名
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guaguastd/article/details/8332757
版权 
#!/bin/sh


foo()
{
	if [ $# -ne 1 ];
	then
		echo "Usage:$0 filename"; 
		exit -1
	fi


egrep -o "http://[a-zA-Z0-9.]+\.[a-zA-Z]{2,3}" website | awk '{ count[$0]++ } END { printf("%-30s %s\n","wensite","count"); for(ind in count) { printf("%-30s %d\n",ind,count[ind]); } }' | sort -nrk 2 | head -n 10 >websorted2.txt;


}


foo website


例子：

文件website中的内容：

http://www.google.com
http://www.baidu.com
http://www.sina.com
http://www.bjtu.edu.cn
http://www.codeproject.com
http://www.csdn.com
http://www.sohu.com
http://www.yahoo.com
http://mail.163.com
http://www.bjtu.edu.cn
http://www.codeproject.com
http://www.csdn.com
http://www.sohu.com
http://www.yahoo.com
http://mail.163.com
http://www.codeproject.com
http://www.csdn.com
http://www.sohu.com
http://www.yahoo.com
http://mail.163.com
http://www.qq.com
http://www.hao123.com
http://www.163.com
http://youku.com
http://taobao/com
http://www.bjtu.edu.cn
http://www.codeproject.com
http://www.csdn.com
http://www.sohu.com
http://www.yahoo.com
http://mail.163.com
http://www.codeproject.com
http://www.csdn.com
http://www.sohu.com
http://www.yahoo.com
http://mail.163.com
http://www.qq.com
http://www.hao123.com
http://www.163.com
http://youku.com
http://taobao/com

生成的文件内容为（即结果）

http://www.yahoo.com           5
http://www.sohu.com            5
http://www.csdn.com            5
http://www.codeproject.com     5
http://mail.163.com            5
http://www.bjtu.edu.cn         3
http://youku.com               2
http://www.qq.com              2
http://www.hao123.com          2
http://www.163.com             2

guaguastd
关注
专栏目录
36、统计日志中出现次数最多的前10个ip
weixin_43927540的博客
08-18 1525
题目 统计日志中出现次数最多的前10个ip 解法 利用shell脚本即可 cat test.log | awk -F ' ' '{print $2}'| sort | uniq -c|sort -n -r|awk -F ' ' '{print $2}'|head -n 5 脚本分析： 1.cat *.log将文本内容打印到屏幕 2.使用awk命令可以按照分割符将一行分割为多个列，第一列用$1表示，第二列用$2表示，依次类推 awk -F" " '{print $2} //表示用空格作为分隔符进行
Shell实例——输出网站访问量TOP10
Code for need ,Code for fun
12-15 937
问题概述 一个大型网站每天都有数以亿计的访问者,每个访问者的访问行为都会在服务器中都会留下访问记录。 访问记录里有许多信息，其中包含两个字段:访问者的IP、访问者的用户id.例如，格式是这样的: >>> cat record. txt 10:20 202.114.112.5 32123453 10:21 213.89.113.21 34234234 每条记录分为3个字段，第...
统计一个数字出现过的次数
weixin_48917286的博客
03-28 223
Map<Character, Integer> frequency = new HashMap<Character, Integer>(); for (int i = 0; i < s.length(); ++i) { char ch = s.charAt(i); frequency.put(ch, frequency.getOrDefault(ch, 0) + 1); } getOrDefault() 方法获取
shell 统计nginx访问日志的前10
u011579204的专栏
08-04 2685
awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 10
Shell中统计字符串出现次数的方法
sinat_34241861的博客
12-19 7808
方法1：使用grep命令进行统计 grep -o ‘字符串’ file |wc -l 方法2：使用awk命令进行统计 awk -v RS="@#$j" ‘{print gsub(/字符串/,"&")}’ file 方法3：使用awk命令进行统计的方法 awk ‘{s+=gsub(/字符串/,"&")}END{print s}’ file ...
SHELL排序
博客定位是个人工作、学习的经验总结
08-31 310
希尔排序：它是一种对插入排序的改进，减少了比较次数，提高了效率#include <iostream> using namespace std;extern void print_o(int *, int);void shell_sort(int *a, int len) { int i, j, temp, n; n = len/2; while(n!=0) {
Shell 练习 —— 输出top10的数字
Coder Yang
03-25 866
文章目录一、要求二、脚本2.1 随机数生成脚本2.2 统计脚本三、运行结果 一、要求   一个文本，每行一个数字，输出top10的数字。 二、脚本 2.1 随机数生成脚本 #!/bin/bash for i in {1..10000} do echo $RANDOM >> num.dat done 2.2 统计脚本 #!/bin/bash # 将数据拷贝到新文件中操作 c...
Shell 练习 —— 输出每行和的top10
Coder Yang
03-25 776
文章目录一、要求二、脚本2.1 随机数生成脚本2.2 统计脚本三、运行结果 一、要求   一个文本，每行两列，都是数字，输出每行和的top10。 二、脚本 2.1 随机数生成脚本 #!/bin/bash for i in {1..10000} do echo ""$RANDOM" "$RANDOM"" >> num.dat done 2.2 统计脚本 #!/bin/bash...
使用Shell脚本进行数据处理和统计分析
Shell脚本还可以用于数据处理和统计分析，在大数据时代具有重要的作用。 ## 1.2 数据处理和统计分析的需求 随着数据的不断增长，对数据进行处理和分析已成为现代生活和工作中的必要需求。数据处理主要包括清洗、...
Shell案例11——20
qq_50725820的博客
05-23 526
Shell案例11 写一个脚本实现如下功能： 输入一个数字，然后运行对应的一个命令。 显示命令如下： cmd meau* 1 - date 2 - ls 3 - who 4 - pwd 当输入1时，会运行date, 输入2时运行ls, 以此类推。 要点 case判断 Shell代码 #!/bin/bash echo "*cmd meau** 1 - date 2 - ls 3 - who 4 - pwd" read -p "Please input a number: " n if [ -z "$n
shell脚本 - 完成商品销量排行的统计:倒插数据库法
07-20 751
思考几个问题？ 真实系统中 1.商品表一般都说很大的 2.订单表更大（尤其是订单明细表） 所以如果动态的去去商品销量排行是很耗费性能的，因此常见的实战做法有几种：常见做法1： 做个后台，有个按钮，人工点击，自动执行”销量排行SQL”，然后生成一个静态文件（可以是直接的HTML文件，也可以把取出的结果集序列化后保存）或放到memcache里，每个1时或指定的时间重新更新常见做法2： 使用s
【Shell牛客刷题系列】SHELL9 统计每个单词出现的个数：一起学习sort排序命令和uniq去重命令
一起加油~
10-11 1356
本文首先学习了对文件内容进行排序的sort命令和去除文件中重复内容的uniq命令；然后结合相关知识给出了三种题目的解决方案。
【Shell】统计文件里面特定字符串出现次数
热门推荐
BALANCE
12-17 1万+
下面三个方法都可以完成这个需求 1.第一种方法：使用grep命令进行统计 grep -o '字符串' file |wc -l 2.第二种方法：使用awk命令进行统计 awk -v RS="@#$j" '{print gsub(/字符串/,"&")}' file 3.第三种方法：另一种使用awk命令进行统计的方法 awk  '{s+=gsub(/字符串/,"&")}END{p
Linux Shell之统计某个字符串在文件中的出现次数
二木成林
12-14 8873
Linux Shell之统计某个字符串在文件中的出现次数
shell统计循环次数的方法
木牛的博客
12-30 1808
这可难哉了，网上搜索了很多关于统计shell循环次数的方法，竟然搜不到！的方法来计数，虽然，不标准，但起码能实现！shell是个简单的开发语言，我觉得能实现就好！上尝试用for循环统计出满足条件的循环次数，但是我发现shell不能像其他语言一样 可以用。如果要严谨，提供一个思路，可以自行研究一下：可以封装个函数来做统计的累加器！let实际上和expr没有区别，都是bash中用于计算的工具！所以我就自行研究了一个方法，利用。
Shell 编程：利用字典统计文本次数
本博客纯属个人网络笔记，如对阁下有用，甚喜；否则，关掉即可，不喜勿喷。专心写代码，不做键盘侠！
05-24 922
问题 有一个 test.log ，内容如下： a,e a, b,e b, c,e c,e c, d,e d,e 统计规则是这样的：每一行以逗号分割，如果第二个字段为 e 就统计该行，否则将第一个字段相同且第二个字段不为 e 的行数累加。 脚本思路 利用 Shell 脚本进行统计，可以考虑字典这个数据类型，循环遍历文件内容，对每一行进行如下的处理： awk 语句分割该行获取第一列和第二列 取出第...
shell统计重复次数
chengxuyuanyonghu的专栏
04-27 1万+
(1) awk -F, '{a[$2]++}END{for (i in a) print i" "a[i]}'   文件名.txt (2) cat 文件名.txt |cut -d, -f2 |sort |uniq -c |sort -n
shell操作练习（编写shell脚本完成统计文件中的每个月份设备的出现次数）
曾柯的知识笔记
03-10 2217
对于shell的操作一直不太熟，最近在做一个比赛，恰好用到了shell来处理一些数据，下面总结下shell的一些基本用法，并练习编写shell脚本完成统计文件中的每个月份设备的出现次数首先有5个数据文件要做处理数据格式如图先练习将5个数据文件中的第2列和第3，4列提取出来（这里提一下shell中的数字和字符串互相转换的过程，数字默认可以进行字符串操作，字符串转数字有以下几种方法例如：a="024"...
shell如何统计文本中每种字符的出现次数
github_32658299的博客
03-02 6760
如题,~>grep -o . file | sort |uniq -cgrep . file //从名为file的文件中搜寻匹配 . 号的的部分，这样写相当于执行cat file在终端输出的内容一样，加了 -o 就相当于每个字符占用一行 -o, --only-matching Print only the matched (non-empty) parts of a matching line,
shell统计出现域名次数按次数进行降序排列
最新发布
04-28
可以使用以下命令来实现： ...4. 使用 `uniq -c` 命令统计每个域名出现的次数，并在前面加上次数； 5. 使用 `sort -rn` 命令按照次数进行降序排列。 执行该命令后，会输出按照域名出现次数降序排列的结果。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值