用awk写一个脚本，提取每行第一次出现的单词。

最新推荐文章于 2021-04-30 05:04:14 发布
最新推荐文章于 2021-04-30 05:04:14 发布
阅读量4.9k 收藏
点赞数
分类专栏： linux系统管理 bash和正则 文章标签： 脚本 dns服务器 文档 ftp服务器 postgresql solaris

 原贴:http://bbs.chinaunix.net/thread-1364558-1-1.html

用awk写一个脚本，提取每行第一次出现的单词。


1 2 3 4 ››

首页 » 论坛 » Shell »
  •  
    •  

    <script type="text/javascript"></script>

    [打印] [订阅] [收藏] [本帖文本页] [推荐此主题给朋友，立即获积分]
    jean2e
    侠客




    UID：791776
    注册：2008-12-6
    最后登录： 2009-02-09
    帖子： 13
    精华：0

    可用积分：23 (白手起家)
    信誉积分：0
    专家积分：0 (本版:0)
    空间积分：0
    推广积分：0

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    1楼 发表于 2009-2-7 14:27 
    百思不得其解
    111:user:x:1000:(www-data id):(?):(?)
    111:222:user:x:1000:(www-data id):(?):(?)
    111:user:x:1000:(www-data id):(?):(?)



    您对本贴的看法：鲜花[0] 臭蛋[0]
    haimming
    风云使者




    UID：762165
    注册：2008-9-14
    最后登录： 2009-02-09
    帖子： 615
    精华：0

    可用积分：1542 (家境小康)
    信誉积分：0
    专家积分：20 (本版:10)
    空间积分：0
    推广积分：0

    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    2楼 发表于 2009-2-7 14:36 
    是每行出现的第一个单词吗？上面的例子全是user?



    您对本贴的看法：鲜花[0] 臭蛋[0]
    haimming
    风云使者




    UID：762165
    注册：2008-9-14
    最后登录： 2009-02-09
    帖子： 615
    精华：0

    可用积分：1542 (家境小康)
    信誉积分：0
    专家积分：20 (本版:10)
    空间积分：0
    推广积分：0

    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    3楼 发表于 2009-2-7 14:43 


    [Copy to clipboard] [ - ]
    CODE:
    sed -r 's/[^a-zA-Z]*([a-zA-Z]*).*//1/' urfile




    您对本贴的看法：鲜花[0] 臭蛋[0]
    ynchnluiti (andy)
    精灵使



    UID：90672
    注册：2003-8-29
    最后登录： 2009-02-09
    帖子： 3315
    精华：0

    可用积分：12986 (大富大贵)
    信誉积分：100
    专家积分：560 (本版:190)
    空间积分：0
    推广积分：1282

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    4楼 发表于 2009-2-7 16:19 
    是不是每行可能包含多个单词，每个单词可能重复出现



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    天行健，君子以自强不息
    发奋忘食，乐以忘优，不知老之将至
    温故而知新
    jean2e
    侠客




    UID：791776
    注册：2008-12-6
    最后登录： 2009-02-09
    帖子： 13
    精华：0

    可用积分：23 (白手起家)
    信誉积分：0
    专家积分：0 (本版:0)
    空间积分：0
    推广积分：0

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    5楼 发表于 2009-2-7 16:28 


    QUOTE:
    原帖由 ynchnluiti 于 2009-2-7 16:19 发表
    是不是每行可能包含多个单词，每个单词可能重复出现

    是的！



    您对本贴的看法：鲜花[0] 臭蛋[0]
    jean2e
    侠客




    UID：791776
    注册：2008-12-6
    最后登录： 2009-02-09
    帖子： 13
    精华：0

    可用积分：23 (白手起家)
    信誉积分：0
    专家积分：0 (本版:0)
    空间积分：0
    推广积分：0

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    6楼 发表于 2009-2-7 16:30 


    QUOTE:
    原帖由 haimming 于 2009-2-7 14:43 发表

    sed -r 's/[^a-zA-Z]*([a-zA-Z]*).*//1/' urfile

    谢了。我主要想知道用awk解决的方法:mrgreen:



    您对本贴的看法：鲜花[0] 臭蛋[0]
    我是DBA   帅哥 (我在学习，我要进步)
    大天使
    打破水锅问到底。



    UID：713644
    注册：2008-6-3
    最后登录： 2009-02-09
    帖子： 2447
    精华：0

    可用积分：7481 (富足长乐)
    信誉积分：10
    专家积分：25 (本版:25)
    空间积分：808
    推广积分：30

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    7楼 发表于 2009-2-7 20:53 


    [Copy to clipboard] [ - ]
    CODE:
    awk -F'[^a-zA-Z]+' '{print $2}' 　ufile

    [test@erpdataserver ~]$ cat 1
    111:user:x:1000:(www-data id):(?):(?)
    111:222:user:x:1000:(www-data id):(?):(?)
    111:user:x:1000:(www-data id):(?):(?)
    [test@erpdataserver ~]$ awk -F'[^a-zA-Z]+' '{print $2}' 1
    user
    user
    user



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    要看的书太多了。。
    我是DBA   帅哥 (我在学习，我要进步)
    大天使
    打破水锅问到底。



    UID：713644
    注册：2008-6-3
    最后登录： 2009-02-09
    帖子： 2447
    精华：0

    可用积分：7481 (富足长乐)
    信誉积分：10
    专家积分：25 (本版:25)
    空间积分：808
    推广积分：30

    状态： ...在线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    8楼 发表于 2009-2-7 21:46 
    回复 #7 我是DBA 的帖子

    自己写完才发现awk好强大。



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    要看的书太多了。。
    haimming
    风云使者




    UID：762165
    注册：2008-9-14
    最后登录： 2009-02-09
    帖子： 615
    精华：0

    可用积分：1542 (家境小康)
    信誉积分：0
    专家积分：20 (本版:10)
    空间积分：0
    推广积分：0

    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    9楼 发表于 2009-2-7 21:55 
    回复 #8 我是DBA 的帖子

    看了你们的例子，有同感
    学好了sed我就学awk！



    您对本贴的看法：鲜花[0] 臭蛋[0]
    版主 kns1024wh   帅哥 (flaging)
    广告杀手－法师



    UID：264250
    注册：2005-5-8
    最后登录： 2009-02-09
    帖子： 5358
    精华： 1

    可用积分：19901 (大富大贵)
    信誉积分：100
    专家积分：105 (本版:0)
    空间积分：0
    推广积分：630

    来自：XA-BJ-SZ
    状态： ...离线...

    [个人空间] [短信] [博客]


    [ 推广获积分] 顶部
    10楼 发表于 2009-2-7 22:00 
    回复 #8 我是DBA 的帖子

    很过功能都可以是实现的

    chinalinuxzend
    关注
    • 0
      点赞
    • 踩
    • 0
      收藏
      觉得还不错? 一键收藏
    • 0
      评论
    专栏目录
    linux命令取字符串行的第一行,Linux字符截取命令-cut
    weixin_34430334的博客
    04-30 3684
    Linux字符截取命令-cut 做者 | WenasWeihtml一 Linux之cut命令详解将每一个文件中选定的行部分打印到标准输出, 若是没有文件，或者文件是-，则读取标准输入,长选项的强制参数对于短选项也是强制的。nodecut 是一个选取命令,通常来讲，选取信息一般是针对“行”来进行分析的，并非整篇信息分析的,用于显示每行从开头算起 num1 到 num2 的文字。linux1.1 使用...
    Linux awk用法
    zjp的博客
    03-16 994
    输出第一个单词首字母顺序>m的单词，否则输出----基本语法 awk -F '分隔符' ‘过滤条件 {操作}’ 文件名 准备demo.txt内容如下 root:x:0:0:root:/root:/usr/bin/zsh daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin bin:x:2:2:bin:/bin:/usr/sbin/nologin sys:x:3:3:sys:/dev:/usr/sbin/nologin sync:x:4:65
    awk基础
    NeilZhy
    08-04 567
    基本原理 awk的工作是这样子的，awk每次以”\n”为分隔符从而读取文件的一行 然后以空格为分隔符，将所有的单词分开 然后用符号表示每一个单词，符号表示每一个单词，符号表示每一个单词，0表示所有的单词，1表示第一个单词，1表示第一个单词，1表示第一个单词，2表示第二个单词 使用规则 awk的使用一般是 awk '{awk命令}' 文件名 awk的命令必须包含在’{}’中 ...
    linux字符串第一个字母排序,如何用shell脚本实现单词及字母去重排序？
    weixin_42468580的博客
    04-30 764
    在linux中处理文件的命令有sed、awk、grep、tr等，而对于去重复排序的命令有sort、uniq等，在处理文件时首先要考虑的是文本的结构是否存在规律。问题中是需要对单词及字母进行排序，这里需要考虑的问题是单词中是否存在大写字母？单词是否和标点符号连接？如果需要统计排序的是字符串，我们可以使用下面的命令。[root@api ~]# echo ${str,,}|sed 's/[^a-z]/ ...
    awk之取每天的第一条记录和最后一条记录
    系统运维
    11-24 1026
    文本: 2011-10-25 8:41:20 2011-10-25 8:41:38 2011-10-25 18:10:09 2011-10-26 8:29:05 2011-10-26 18:07:27 2011-10-27 8:35:41 2011-10-27 18:51:18 2011-10-28 8:38:00 2011-10-28 18:08:01 2011-10-29
    linux Shell脚本里面把一个数组传递到awk内部进行处理
    01-10
    前段时间和几位同事讨论过一个问题：Shell脚本里面怎样把一个数组传递到awk内部进行处理？ 当时没有找到方法。...众所周知，Shell脚本里面把一个普通变量传递给awk是非常简单的，直接用 -v 参数赋值就行了。 s
    利用Shell脚本循环读取文件中每一行的方法详解
    01-20
    本文主要给大家介绍了关于使用Shell脚本循环读取文件每一行的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧。 一、使用for循环 for line in `cat filename` do echo $line done ...
    一个用了统计CPU 内存 硬盘 使用率的shell脚本
    01-20
    代码如下:#!/bin/bash#This script is use for describle CPU Hard ... -ne 0 ]then ver=`vmstat -V | awk ‘{printf $3}’` nice=0 temp=`vmstat 1 3 |tail -1` user=`echo $temp |awk ‘{printf(“%s\n”,$13)}
    sed或awk处理文件最后一行的实现方法
    01-11
    判断如果是文本最后一行则在第一列前面加total1:,第二列加total2:, 第三列后面减掉后面两个字符并加end。 分别用sed与awk来实现。sed： 代码如下:echo ‘abcd 1234 fds2011 5501023 832er 1231′ |sed -r ‘$s/([^ ]...
    awk 获取第一个单词_您的第一个使用后退模型的自然语言处理项目单词预测器...
    weixin_26750481的博客
    09-29 760
    awk 获取第一个单词A gentle introduction to NLP NLP入门 Last week, I finished the entire Data Science Specialization from Johns Hopkins University on Coursera, and in this article, I want to talk a little bit ...
    sed和awk的常用实例
    无心出岫
    05-01 2万+
    一、文本间隔 1、在每一行后面增加一空行 sed G guo.sh awk '{printf("%s\n\n",$0 ) }' 2、将文件中原来的空行删掉，并在在每一行后边增加一空行 sed '/^$/d;G ' awk '!/^$/ {printf("%s\n\n",$0 ) }' 3、在匹配式样的行前插入一空行 sed '/good/i\\' se...
    awk 打印倒数第几行
    weixin_34138056的博客
    07-27 3151
    倒数第一行 awk '{print $(NF)}' 倒数第二行 awk '{print $(NF-1)}' 转载于:https://blog.51cto.com/899832/945400
    查找文章中单词出现的个数和第一次出现的位置
    weixin_43510927的博客
    05-02 2268
    总结： 五一放假复习感觉比较的枯燥，就来写了一道比较水的题目，但是还是有收获的，对字符串的一些函数有了新的认识。 题目： 题目很简单，就是给出一段文章和一串单词，需要做的事情是输出单词在文章出现的次数和第一次出现的位置。 以前是接触过这种类似的题目的，但是一直有没有对那些题目有比较深刻的印象，都是写过一遍之后就只记得大概的模样，很多细节不下记得很清晰，这次便趁着好好复习一下。 最开始写不是特别的...
    shell脚本里获取字符串的最后一个字符
    热门推荐
    njchina的博客
    11-27 3万+
    STR=123456abc FINAL=`echo ${STR: -1}` 或者 FINAL=${STR: -1} 都可以让FINAL获得c这个最后一个字符
    来个AWK的统计单词命令(绝对的强大)
    weixin_33694172的博客
    03-14 770
    [xiaomo@Arch-XIAOMO shell]$ cat awkfile a b c d b d l oj a b v l i ww v l w e r v la w v e a f a w[xiaomo@Arch-XIAOMO shell]$ awk '{for(i=1;i<=NF;i++)a[$i]++}END{for(i in a)print i,a[i]}...
    帮我写一个awk自增数字的脚本
    最新发布
    06-09
    上述脚本会读取名为 `file.txt` 的文件中的每一行，并在每行开头打印行号（自增数字）和第一个字段的内容。其中 `NR` 表示行号，每读取一行，`NR` 就会自动加 1。 你可以将以上脚本复制到终端中并运行，替换 `file....

    “相关推荐”对你有帮助么？

    • 非常没帮助
    • 没帮助
    • 一般
    • 有帮助
    • 非常有帮助
    提交
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值