关闭

简单统计、数据处理的几个常用命令:频率统计,和key匹配

标签: 数据处理excel脚本
156人阅读 评论(0) 收藏 举报

最近常用的几个数据处理的小技巧:

1. python的collections模块的Counter方法,和shell命令的sort uniq -c 做的是相同的事情,都是日常处理非常常见的,需要统计一个集合中各个元素的出现次数。


比如:对于一个列表test_list=[1,2,2,3,3,3,4,4,4,4,5,5,5,5,5,2,2,3,3],

test_dict=dict(Counter(test_list)),可以直接得到一个字典:{'1':1,'2':4,'3':4,'4':4, '5':5}


用 uniq -c 处理文本也是同样的效果。如果要从高频到低频排序,可以sort | uniq -c | sort -r就是逆序排序了。


当然,数据量小的话,在excel,用先排序,再分组小计的方法也是一样的。


2. 匹配:用excel的vlookup,和python的字典的方法,自然是最常用的。不过,还有一个偷懒的方法,就是grep -f 的方法,比如一个大文件 a.txt,第一列是key,有一个目标的key的集合,放在b.txt里,注意,文件b里就只有key,一个key一行。那么cat a.txt | grep -f b.txt > filtered_result.txt,就可以得到a中所有符合b中key的行。好处是比python简单,也不用担心excel处理后的异常字符或者格式问题,缺点就是慢,比python的字典索引查询方法慢了不止一个数量级。



0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

Linux下统计文本文件中前n个出现频率最高的单词

关键脚本: [root@bogon tmp]# cat stat.sh  #!/bin/bash end=$1 #$1,第一个入参,表示统计出现频率最高的单词的个数的前n个 c...
  • liangbinny
  • liangbinny
  • 2014-12-09 16:31
  • 2964

统计分析文章中英文单词出现次数及频率(C++实现)

设计思路: 1.为了统计数据具有实际意义: 统计中需要剔除一些无统计意义的词,例如 am is are 等虚词、代词、连词等。 一般的文章句首单词首字母为大写,此时需要将此类情况的大写字母转化为...
  • wise_x_y
  • wise_x_y
  • 2014-09-28 13:05
  • 4107

数据分析概率及统计学基础

一.数据分析概述 1. 数据分析的概念 数据分析就是分析数据,从一大堆数据中提取你想要的信息。比较专业的回答:数据分析是有针对性的收集、加工、整理数据,并采用统计、挖掘技术分析和解释数据的科学与艺术。...
  • back_to_dream
  • back_to_dream
  • 2016-05-10 13:50
  • 4989

海量数据处理实例--几个使用bit-map的简单例子

这个例子是很简单的使用了bit-map的思想,但是其中的想法还是没有这里的例子优秀,代码如下: #include #include #define BYTESIZE 8 void SetB...
  • yusiguyuan
  • yusiguyuan
  • 2013-10-21 21:49
  • 1361

程序员求职之道(《程序员面试笔试宝典》)之海量数据处理(如何从10亿查询词找出出现频率最高的10个)?

1. 问题描述 在大规模数据处理中,常遇到的一类问题是,在海量数据中找出出现频率最高的前K个数,或者从海量数据中找出最大的前K个数,这类问题通常称为“top K”问题,如:在搜索引擎中,统计搜索最热门...
  • xdhehao
  • xdhehao
  • 2012-08-10 20:03
  • 2245

bmpfunction delphi数据处理函数库模拟matlab中的几个函数

  • 2012-12-15 15:36
  • 32KB
  • 下载

Linux上用于Json数据处理并导入Mysql的几个有用Python脚本

1、环境目录结构 [root@localhost python_dir]# pwd /root/python_dir [root@localhost python_dir]# ls -lGR .:...
  • nisjlvhudy
  • nisjlvhudy
  • 2015-12-18 17:36
  • 1447

几个pandas数据处理中的常用操作

记几个常用的函数,具体用法去官网查啦 import的惯例: import pandas as pd from pandas import Series,DataFrame 显示一些数字特征: df.d...
  • zhaohansk
  • zhaohansk
  • 2016-01-08 09:38
  • 15540

awk数据处理的几个函数

awk实现distinct、count函数
  • hyalone2010
  • hyalone2010
  • 2014-07-03 09:56
  • 320

实验设计与数据处理 及统计软件SAS 普通版

  • 2014-07-07 17:27
  • 6.12MB
  • 下载
    个人资料
    • 访问:15007次
    • 积分:307
    • 等级:
    • 排名:千里之外
    • 原创:16篇
    • 转载:2篇
    • 译文:0篇
    • 评论:0条