![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce相关
文章平均质量分 74
xwsiat
业余程序员
展开
-
ubuntu12.4 环境下oprofile的安装
一 目的 安装oprofile的主要目的是观察mapreduce程序在CPU事件这个层次表现出的特征,对比了几个常见工具,最终确定利用operf来进行数据采集。Operf的特征是可以用非root用户profile单进程,并且有效作用于该进程中的任何线程和用fork产生的子进程。 二 源代码下载 operf是0.9.8版出现的新工具,可能存在bug, 稳定版下载页面原创 2013-05-26 21:50:34 · 1753 阅读 · 0 评论 -
用Hitune+chukwa 进行mapreduce 程序的性能调优
1 问题背景 深圳通地铁交通数据的处理,判断某一时间段内,任意两个不同地铁站间的流量统计,例如从地铁A站入站,从地铁B站出站的人数,在mapreduce操作里面本质上是一个分布式的join操作。 2 第一次测试 在第一次测试中,数据集73GB,集群有3个计算节点,机器配置(16核,16GB内存),集群配置(map slot和reduce slot个数均为6,java虚拟机内存大原创 2013-06-30 09:38:06 · 902 阅读 · 0 评论 -
配置glusterfs 支持MapReduce 计算
前言 hdfs存储系统原生支持mapreduce计算框架,但是其对外提供的访问接口并不支持严格POSIX语义,通俗点讲就是不能直接支持其他应用,例如HDFS不能够直接文件服务器,web服务器的存储系统。尽管后续的一些模块 如fuse-dfs,webdav等尝试为HDFS提供标准接口的存储系统,但是经过多个组件的转化,存储系统效率受到了极大的影响。 一方面,考虑到存储系统和原创 2013-10-23 21:11:39 · 758 阅读 · 0 评论 -
Mapreduce计算框架涉及的技术(1)-从单节点单进程到多节点多进程
一,三个简单的程序场景原创 2014-08-21 20:01:23 · 1415 阅读 · 0 评论 -
Mapreduce计算框架涉及的技术(2)-工作机制详解
图 1 MapReduce原创 2014-09-03 14:15:36 · 614 阅读 · 0 评论 -
Mapreduce计算框架涉及的技术(3)--以多视图方式看mapreduce
图 1 jiedian原创 2014-09-04 14:29:36 · 677 阅读 · 0 评论