shell_awk/grep/sort





     Linux系统通过shell提供了大量方便的工具,如:awk、grep、sort、more、less、tail等等,方便程序员或者从事数据分析的人员对一些小文件的快速分析,掌握好这些工具,可以极大地提高简单数据分析的效率。
工具/原料
    Linux系统
一、awk常用技巧和方法
    1文件每行按第二列去重并打印第二列不同的值及出现次数:
    awk -F"\t" '{a[$2]+=1}END{for(x in a) print x"\t"a[x]}' a
    2求两个文件中第一列数据的交集:
    假设文件名为a和b,文件每行用\t分隔
    awk -F"\t" 'ARGIND==1{a[$1]=1}ARGIND==2{if($1 in a) print}' a b
    其中:
    -F表示指定每行的分隔符
    ARGIND==1表示处理第一个文件
    END
二、grep常用技巧和方法
    1把文件中包含china的行打印出来:
    grep "china" a
    把文件中以china字符串起始的行打印出来:
    grep "^china" a
    2把文件中出现在abc和xx之间的字符串打印出来:
    grep -o -P "(?<=abc).*?(?=xx)" a
    END
三、sort命令常用技巧和方法
    1对文件先按第二列排序,再按第三列排序,每列之间用空格分开:
    sort -t' ' +1 -2 +2 -3 file
    END
四、组合用法
    1统计accesslog日志中的各ip出现次数,并按次数从小到大排序:
    awk  '{a[$1]+=1}END{for(x in a) print x,a[x]}' file | sort +1rg -2 > file.output
    2文件中包含有china的行数:
    grep "china" file | wc -l
    3查看线上实时滚动日志中带有warning的日志:
    tail -f file.log | grep "warning"
    END
五、其它常用shell脚本
    1对一个100w行的文件A随机取100行:
    cat A | shuf -n 100
    2 在/home目录下面查询以.log结尾的文件并统计文件总大小:
    find /home -name *.log | xargs du -s | awk '{print;sum+=$1}END{print sum}'
    删除/home目录下面的所有.svn文件:
    find /home -name .svn | xargs rm -rf

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1. 智慧社区背景与挑战 随着城市化的快速发展,社区面临健康、安全、邻里关系和服务质量等多方面的挑战。华为技术有限公司提出智慧社区解决方案,旨在通过先进的数字化技术应对这些问题,提升城市社区的生活质量。 2. 技术推动智慧社区发展 技术进步,特别是数字化、无线化、移动化和物联化,为城市社区的智慧化提供了可能。这些技术的应用不仅提高了社区的运行效率,也增强了居民的便利性和安全性。 3. 智慧社区的核心价值 智慧社区承载了智慧城市的核心价值,通过全面信息化处理,实现对城市各个方面的数字网络化管理、服务与决策功能,从而提升社会服务效率,整合社会服务资源。 4. 多层次、全方位的智慧社区服务 智慧社区通过构建和谐、温情、平安和健康四大社区模块,满足社区居民的多层次需求。这些服务模块包括社区医疗、安全监控、情感沟通和健康监测等。 5. 智慧社区技术框架 智慧社区技术框架强调统一平台的建设,设立数据中心,构建基础网络,并通过分层建设,实现平台能力及应用的可持续成长和扩展。 6. 感知统一平台与服务方案 感知统一平台是智慧社区的关键组成部分,通过统一的RFID身份识别和信息管理,实现社区服务的智能化和便捷化。同时,提供社区内外监控、紧急救助服务和便民服务等。 7. 健康社区的构建 健康社区模块专注于为居民提供健康管理服务,通过整合医疗资源和居民接入,实现远程医疗、慢性病管理和紧急救助等功能,推动医疗模式从治疗向预防转变。 8. 平安社区的安全保障 平安社区通过闭路电视监控、防盗报警和紧急求助等技术,保障社区居民的人身和财产安全,实现社区环境的实时监控和智能分析。 9. 温情社区的情感沟通 温情社区着重于建立社区居民间的情感联系,通过组织社区活动、一键呼叫服务和互帮互助平台,增强邻里间的交流和互助。 10. 和谐社区的资源整合 和谐社区作为社会资源的整合协调者,通过统一接入和身份识别,实现社区信息和服务的便捷获取,提升居民生活质量,促进社区和谐。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值