chuimie3724-CSDN博客

转载用Python编写一个MapReduce程序

本文基于实验室已经搭建好的Hadoop平台。参考http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/ 1.编写mapper.py #!/usr/bin/python2.6...

2017-05-16 14:54:00 580

转载字符串匹配

部分转载自 http://lib.csdn.net/article/python/39140#focustext和 http://www.ruanyifeng.com/blog/2013/05/Knuth%E2%80%93Morris%E2%80%93Pratt_algorithm.ht...

2017-04-20 19:43:00 107

转载反转单链表

最近很多面试的同学被问到单链表反转这个算法题，参考http://www.tuicool.com/articles/VRvMvaz # 定义链表的节点结构class ListNode: def __init__(self, x): self.val = x ...

2017-04-19 09:37:00 119

转载 Python操作HDFS利器之hdfs

本文基于实验室已经搭建好的Hadoop平台而写，使用Python调用hdfs来操作HDFS HdfsCLI官方文档：https://hdfscli.readthedocs.io/en/latest/ 1.安装 pip install hdfs 2.配置（1）使用hdfs...

2017-03-18 19:17:00 472

转载 itertools.groupby函数与operator.itemgetter函数

itertools.groupby函数可以用来对数据进行分组 operator.itemgetter函数主要是用来获取对象的哪些维的数据 1. 未做排序处理 from itertools import groupbygroup_list = [ [700L, '9.550'...

2017-03-14 15:01:00 154

转载 Hbase实战教程之happybase

本文基于实验室已经搭建好的Hadoop平台而写，使用Python调用happybase库。 1.thrift 是facebook开发并开源的一个二进制通讯中间件，通过thrift，我们可以用Python来操作Hbase 首先开启Hadoop平台的HadoopMaster的t...

2017-03-10 12:39:00 968

转载 Word2Vec理论基础

1.NLP常见任务自动摘要指代消解机器翻译词性标注中文分词主题识别文本分类 2.NLP处理方法传统：基于规则现代：基于统计机器学习 ...

2017-03-01 00:02:00 198

转载 Python之loggoing模块

1.logging模块的子模块 Loggers：提供应用调用的接口，将log发送给handlers Filters：过滤log，决定将哪些log发送给handlers Handlers：将log发送到目的地 Formatters：定义log的输出格式...

2017-02-28 13:58:00 133

转载 NLP理论基础

1.NLTK的安装 pip install nltk 2.安装语料库 import nltknltk.download() 例如安装布朗大学的语料库：brown 也可以在程序中下载 nltk.download('brown') 3.NLTK自带语料库 ...

2017-02-27 00:00:00 114

转载 MongoDB实际操作

声明：以下内容改编于廖雪峰的MongoDB菜鸟教程http://www.runoob.com/mongodb/mongodb-tutorial.html，个人在学习过程中进行了总结和适当的更改。 # 向集合中插入文档 document = { title: 'MongoDB教程',...

2017-02-25 22:28:00 83

转载 MongoDB入门

1.NoSQL = Not only SQL 2.RDBMS = 关系数据库管理系统 3.关系型数据库遵循ACID规则：A--原子性(Atomicity)、C--一致性(Consistency)、 ...

2017-02-25 16:35:00 69

转载 Numpy通用函数介绍

一、通用函数：对numpy.array中的数据执行元素级运算的函数 1.求绝对值的函数 # Python里面的abs函数是内置函数，可以求整数，浮点数，复数的绝对值print abs(2) # 结果仍是整数print abs(-2.6)print a...

2017-02-25 01:23:00 856

转载 k-近邻算法

fromnumpyimport*importoperator#运算符模块#训练样本集defcreateDataSet():group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])#数据...

2016-04-06 16:31:00 60

chuimie3724的博客