2015年01月_Cumu_

原创 memcached-java客户端xmemcached使用总结

1. 最近调研了下memcached，之前2篇博客简单得介绍了用法，现在做个总结就当调研结束，本博客将从以下几个方面进行总结，a. xmemcached简介b. xmemcached的分布式c. xmemcached支持的存储对象d. xmemcached的容错性e. xmemcached的性能测试由于memcached可以与spring集成，所以本博客以和spri

2015-01-30 09:42:44 12472 1

原创 memcached-java客户端xmemcached简单使用

1. 前一篇文章简单说了下如何安装memcached，想到了memcached是分布式的缓存框架，所以自己在公司的3台测试机上安装了下。2. 关于什么是xmemcached就不多说了，其实就是实现了memcached的java客户端，关于分布式下一篇会稍微详细点介绍，这里只要知道这个分布式其实是客户端的分布式，其实是没有主从节点的概念的。3. 直接贴代码，看看如何使用import ja

2015-01-29 10:47:41 2622

原创 memcached-安装

1. 最近公司需要换架构，其中涉及到缓存这块，在缓存选型上想比较下redis和memcached，所以就让我调研了下memcached2. 本博客从安装开始说起，之后持续更新关于memcached调研相关的知识3. memcached依赖于libevent，所以安装memcached前必须先安装libevent（它是安装memcached的唯一先决条件），具体的memcached的基础见：

2015-01-26 16:27:49 1914

原创学习用pyhon写hive udf

1. 最近有个需求是找出一批一年内每个月连续交易额超过10000元的商户，经过hive的一些操作最后数据如下（已省略不需要的字段）： m, p, consume, cnt m和p唯一标记商户，consume是12个月的交易额（逗号分割）,cnt不用管2. 分析得知用hive原生的一些函数不好处理，那么想到了udf，本来想用java写的，但是java有太多依赖包了，刚好在学python

2015-01-20 20:04:54 10559

原创 python利用多核CPU实现mapreduce

1. 最近公司用有个比较奇怪的需求，需要在流水中查找某一条符合条件的流水记录，记录是在hdfs上的，按天存在文件中，但是文件都比较大，每天大概是25G的流水数据，现在提供刷卡回执单去查找该消费记录在我们hdfs上的对应的记录，从而可以找到某个信息（不能说是哪个。。。。）2. 刷卡回执单我们可以找到卡号前6位、后四位，消费的时间，消费的金额，最初我是用管道来一行行排除的，就是cat xxx |

2015-01-19 20:36:49 3397

原创 Python+Hadoop Streaming实现MapReduce（如何给map和reduce的脚本传递参数）

1. 上一篇我们提到用python 和 hadoop streaming的方式写mapreduce，那么我们怎么向map和reduce的脚本传递参数呢，本来着重讲这个2. 我们知道用java写mapreduce的时候可以传参数给map或者reduce，具体的就是用Configuration去set值，然后在map或者reduce端用get进行获取，这个就不多说了，不是本文重点3. 不多

2015-01-15 19:53:40 7123 1

原创 Python+Hadoop Streaming实现MapReduce（word count）

1. hadoop本身是用java写的，所以用java写mapreduce是比较合适的，然而hadoop提供了Streaming的方式，让很多语言可以来写mapreduce，下面就介绍如何用python写一个mapreduce程序，我们就从最简单的word count写起吧2. word count是比较简单的，所以我们直接上代码，3. map.py#!/usr/bin/env pyt

2015-01-15 19:39:49 10237 1

Cumu Blog