Cumu Blog

1. wordcount程序相当于hadoop MapReduce的一个helloworld程序吧，纯的MR代码如下：    a.

前几篇已经介绍了flume相关的知识，包括flume架构、如何配置启动以及暂停，接下去主要说说flume接受log4j日志。 前面介绍过了log4j需要用avro的方式讲日志传递到flume，所以我们的配置都是基于avro的sourcelog4j日志输出到flume的console修改配置文件log4j-agent.properties# distributed with this work

上一篇博客简单介绍了flume的一些基本概念和架构，更详细的内容可以去官网用户手册学习，这篇博客主要介绍如何安装配置flume，以及作个简单示例如何使用下载flumewget http://apache.dataguru.cn/flume/1.5.2/apache-flume-1.5.2-bin.tar.gztar -zxvf apache-flume-1.5.2-bin.tar.gzcp c

闲扯好久没写博客了，大概有半年了，最近半年发生了不少事情，自己毕业两年了，本想跳槽离开的，但是貌似习惯了现在公司的工作习惯，其实是工资涨得还算满意，所以就留下了（说得好没追求啊~）。前段时间我们team的负责人跳槽走了，所有很多技术都需要自己钻研，其实也是一个蛋疼但是提高挺快的过程，最近利用工作之余的时间一直在研究spark，在公司申请了4台机器用CDH搭建了一个集群，包括了Spark，版本貌似是1

继续上一篇学习spark本次将介绍下如何利用mllib进行商品或者用户的推荐，具体用到的算法是ALS（交替二乘法）推荐算法介绍推荐算法可以分为：UserCF(基于用户的协同过滤)、ItemCF(基于商品的协同过滤)、ModelCF(基于模型的协同过滤)，具体介绍见：http://blog.csdn.net/ygrx/article/details/15501679spark中的协同

继续上一篇学习spark本次将介绍如何用spark进行join的操作，首先join是分map side join和reduce side join，下面将分别介绍下这2个操作在spark中如何进行map side join其实就是将较小的表放入到内存，利用spark的广播机制broadcast出去，这样就缓存在内存中，直接上代码 val conf = new SparkCon

继续上一篇的学习spark本次将介绍下CountOnce，假设现在一个场景，有一堆数字，其中只有一个数据是出现一遍的，其他数据都出现两次，如何快速找到出现一次的数据算法利用异或的特性，异或具有交换率，偶数次出现的数字异或是0，奇数次出现的异或后就是本身，假设这堆数据比较庞大，用spark来查找是很方便的，代码如下：val conf = new SparkConf()

继续上一篇学习spark本次将介绍join发生了数据倾斜之后的一种解决方法数据倾斜出现的原因并行计算中,我们总希望分配的每一个任务(task)都能以相似的粒度来切分,且完成时间相差不大。但是由于集群中的硬件和应用的类型不同、切分的数据大小不一,总会导致部分任务极大地拖慢了整个任务的完成时间，数据倾斜原因如下：1) 业务数据本身的特性。2) Key分布不均匀。3) 建表时考虑

继续上一篇学习spark本次将通过一个实际场景来综合学习下spark如何实现hive中的列转行和行转列（关于hive的）列转行和行转列介绍见：http://blog.csdn.net/jthink_/article/details/38853573）问题描述假设我们有这样的交易记录，如下：@6259656412068037 @822039695680011 7230 366.0

继续上一篇学习spark本次将综合运用spark的基础知识来解决一个实际问题问题描述假设有这样的数据（很多），第一个字段表示id，第二个字段表示type（type 只有01和02），第三个字段表示月份（只有7月和8月）1 012015-072 01 2015-072 01 2015-072 02 2015-082 02 2015-083 02 2015-08

公平调度器介绍简介     公平调度器是一种赋予作业（app）资源的方法，目的是让所有的作业随着时间的推移，都能获得平均的资源。hadoop NG有能力调度多种不同类型的资源（CPU cores、memory）。默认情况下，公平调度器只公平得调度作业memory的使用，但是通过配置我们可以调度memery和CPU。当第一个作业提交到集群上运行时，该作业使用集群的所有资源，这时候别的作业

场景描述      假设遇到这样的客户，需要在公司内部的集群上进行任务提交运行，客户的任务是每天跑取一些比较简单的mr程序（凌晨提交上来，需要在当天的6点之前运行结束），而公司内部自己需要用集群做相应的计算，计算主要是每个月的月初开始执行，一共100多个mr，大概需要执行半个月（前提是mr一个个得提交，资源利用率比较低下）。为了客户任务和公司内部自己的任务能够并行运行，同时确保在规定的时间内完

最近遇到新的需求，需要将hive脚本运行输出的结果存入hbase，故写出一个通用的hive udf来满足该需求，具体代码如下：import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.TableN

分片介绍当存入mongo的数据很大的时候，我们需要选择将数据分片存放到不同的机器上。分片不同于副本集，副本集中主从存放的数据都一样，但是不同分片存放的数据是不同的，所有的分片组成了集群，存放着所有的数据。配置服务器配置服务器相当于集群的大脑，保存着集群和分片的元数据（个人理解和hbase的meta root表类似），即各分片包含哪些数据的信息configsvr.conf内容如下：d

1. 最近公司需要换架构，其中涉及到缓存这块，在缓存选型上想比较下redis和memcached，所以就让我调研了下memcached2. 本博客从安装开始说起，之后持续更新关于memcached调研相关的知识3. memcached依赖于libevent，所以安装memcached前必须先安装libevent（它是安装memcached的唯一先决条件），具体的memcached的基础见：

本文转载自：http://blog.csdn.net/lovingprince/article/details/7264549几个比较特殊的点都提到了，大家可以作为参考。在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得

1. 假设我们在hive中有两张表，其中一张表是存用户

http://blog.csdn.net/jthink_/article/details/38622297http://blog.csdn.net/jthink_/article/details/38623585两个连起来

1. order by    Hive中的

1. hive是基于hdfs的一个数据仓库

1. 准备四台机器，操作系统都是Ubuntu 12.04 LTS，j

1. 首先下载zookeeper-3.4.5.tar.gz, 解压到/usr/local/bg文件夹下2.

1. 首先安装hbase之前必须要有

1. hadoop: http://blog.csdn.net/jthink_/article/details/386222972. hive:

1. hadoop: http://blog.csdn.net/jthink_/article/details/386222972. hive: http://blog.csdn.net/jthink_/article/details/386235853. zookeeper: http://blog.csdn.net/jthink_/article/details/3863997

1. hive中join就是一条select语句，其个性

1. 我们知道mapreduce天生适合作排序，由于他有一个shuffer的过程，当数据量很少的时候我们可以把reduce的num设置成1来进行排序，但是如果数据量很大，在一个reduce上处理不过来或者处理时间太长，那么我们就需要重新考虑这个排序（需要设置多个reduce）2. 假设我们现在的数据是这样的，每个数字占一行，如：6156436515549347562

1. hive0.10及之前的版本没有row_number这个函数，假设我们现在出现如下

介绍下scala如何配合spring boot框架进行项目开发，由于scala和java一样都是运行在jvm中的，所以和java一样，scala配合spring boot使用几乎和java一样，由于java和scala各有各的特性，处理的场景不同（比如scala天生适合集合的处理），所以有的时候还是需要用java来处理较为方便，所以该骨架中将java和scala一起进行混编，最终打成jar包提供部