python 单机程序_[python]实现单机版一行wordcount

用过spark，对wordcount这个演示程序记忆犹新，于是想试着实现一个简单的wordcount。又因为在学习函数式编程，希望可以把数据看成一个整体，在现有的函数上进行操作。于是就有了这一行代码。

这行代码包括对单词的粗略处理，包括全部转化为小写，去除标点符号等。接下来用filter去掉了空行，最后使用Counter进行计数，实在是很方便快捷啊。

import re

from collections import Counter

input = """As we know, the NTU Final PK contest usually tends to be pretty hard. Many teams got frustrated when

participating NTU Final PK contest. So I decide to make the first problem as "easy" as possible. But how

to know how easy is a problem? To make our life easier, we just consider how easy is a string."""

ret = Counter(filter(lambda x: x != '',re.subn('\W', ' ',input.lower())[0].split(' '))).items()

for i in ret:

print i[0], i[1]

python在mapreduce运行Wordcount程序

首先脚本文件: mapper.py: #!/usr/bin/env python import sys for line in sys.stdin: line = line.strip() words ...

Python初次实现MapReduce——WordCount

前言 Hadoop 本身是用 Java 开发的,所以之前的MapReduce代码小练都是由Java代码编写,但是通过Hadoop Streaming,我们可以使用任意语言来编写程序,让Hadoop 运 ...

利用python操作mrjob实例---wordcount

网上利用java实现mr操作实例相对较多,现将python实现mr操作实例---Wordcount分享如下: 在操作前,需要作如下准备: 1.确保linux系统里安装有python3.5,pyt ...

Python黑魔法，一行实现并行化

Python 在程序并行化方面多少有些声名狼藉.撇开技术上的问题,例如线程的实现和 GIL,我觉得错误的教学指导才是主要问题.常见的经典 Python 多线程.多进程教程多显得偏“重”.而且往往隔靴搔 ...

python怎样在一行中捕获多个异常

所属网站分类: python基础 > 异常处理 作者:浮沉 链接:http://www.pythonheidong.com/blog/article/71/ 来源:python黑洞网,专注pyt ...

python练习：一行搞定-统计一句话中每个单词出现的个数

一行搞定-统计一句话中每个单词出现的个数 >>> s'i am a boy a bood boy a bad boy' 方式一:>>> dict([(i,s.spl ...

简单机器学习人脸识别工具face-recognition python小试，一行代码实现人脸识别

摘要: 1行代码实现人脸识别,1. 首先你需要提供一个文件夹,里面是所有你希望系统认识的人的图片.其中每个人一张图片,图片以人的名字命名.2. 接下来,你需要准备另一个文件夹,里面是你要识别的图片.3 ...

python删除某一行

整理了网络上的一些方法,一般有两种方法:第一种:是先把文件读入内存,在内存中修改后再写入源文件. 例子:将内容包含“123”的所有行删去: with open('C:/Users/lai/Deskto ...

python 在最后一行追加

2.文本文件的写入 import fileinput file = open("D:\\test.txt", encoding="utf-8",mode=&qu ...

随机推荐

mysql远程连接命令(转)

一.MySQL 连接本地数据库,用户名为"root",密码"123"(注意:"-p"和"123" 之间不能有空格) C: ...

使用替换shader渲染

相关函数: Camera.RenderWithShader(shader: Shader, replacementTag: string) 使用指定shader渲染,只影响一帧 Camera.SetR ...

工作总结：MFC调用Windows自带新建、保存对话框代码

保存: void CExample17Dlg::OnBnClickedSaveButton() { // TODO: Add your control notification handler cod ...

Tree（未解决。。。）

Tree Time Limit: 10000/5000 MS (Java/Others)    Memory Limit: 65536/65536 K (Java/Others)Total Submi ...

html 5 video

正项目中, 20秒 2mb左右在速度上可以接受, 但是最总怎样剪都不可以被游览器读取, 因为H.264 和一些我不清楚的. 为了简单解决这小问题, 请使用 http://easyhtml5video. ...

win7 mysql 数据库轻松实现数据库定时备份

本地备份: 第一步: 安装一个mysql. 第二步: 在命令行中配置mysql 打开环境变量将mysql 安装路径配置到path中 第三部: cmd 中输入:mysqldump -uroot -p12 ...

C#中$的用法

class Program { static void Main(string[] args) { string tbName = "User"; string colName = ...

URL和URI的不同

URL是什么?有什么用? URL(统一资源定位符)是Internet上资源的地址,可以定义为引用地址的字符串,用于指示资源的位置以及用于访问它的协议. URL是在网络上定位资源的最普遍使用的方式,它提 ...