Linux内核编译以及perfctr模块安装

Linux内核编译以及perfctr模块安装零、需求介绍   需要使用PAPI得到硬件级的数据,例如CPU clock time,L1/L2 cache miss等,而PAPI需要perfctr(Performance-monitoring counters support)模块支持,而内核当中并没有perfctr模块,并且perfctr只在某些内核上被支持,它实际上是内核的一个补丁,需要重新编译内核,打上补丁才能在内核上运行perfctr模块。更多信息参考papi和perfctr的INSTALL文件。一、...
阅读(3178) 评论(3)

Map和Reduce方法中操作本地文件

Map和Reduce方法中操作本地文件     在Map和Reduce方法中是可以直接操作本地文件的,例如向本地文件系统中写或者读,只是这也会是分布式读和写,这会是从执行task的节点的本地硬盘中读或向其中写。     注意事项:mapreduce程序书写完毕,请务必打包成jar,在命令行提交中运行。之前我向本地文件系统写时一直不生成数据,以为map或者reduce中不能向本地文件系统写,实际上并不如此。我的错误之处是直接在主节点上的eclipse中编译运行,...
阅读(3578) 评论(1)

运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因

运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因    hadoop分布式配置完毕后,我将主节点的下的hadoop-0.20.1直接导入eclipse,想直接在eclipse中书写程序并直接编译运行于hadoop集群上。今天才发现,这是不可能成功的。因为我忽略了mapreduce程序在hadoop中的运行机理:mapreduce框架在运行Job时,为了使得各个从节点上能执行task任务(即map...
阅读(16875) 评论(11)

实现每个Map或Reduce任务只执行一次map或reduce方法

实现每个Map或Reduce任务只执行一次map或reduce方法    默认情况下map和reduce方法是针对每一个对执行一次,但是用户可以书写让map或reduce task只执行一次map或者reduce方法的应用程序。书写这样的程序之前,请先弄清MapReduce框架中map、reduce方法的运行方式。    实际上只需要在用户程序的map类和reduce类中重载run方法,把循环遍历每个输入的对放到map函数和reduce函数中处理就行了。    将代码打包成jar后,在集群中运行。    h...
阅读(2488) 评论(0)

【转】Linx踢出正在登陆的用户

Linx踢出正在登陆的用户转自: http://blog.chinaunix.net/u3/108043/showart_2121929.htmllinux强制踢出用户命令: 一、输入w命令查看已登录用户信息 [root@KW_S01_192.168.1.106_A ~]# w  19:22:31 up  2:11,  3 users,  load average: 0.00, 0.00, 0.00 USER     TTY      FROM              LOGIN@   IDLE ...
阅读(612) 评论(0)

MapReduce框架中map、reduce方法的运行方式

MapReduce程序中的map和reduce方法是重载Mapper类和Reducer类的map和reduce方法。MapReduce程序中的map和reduce方法在框架中默认是如下运行方式:针对一个对运行一次map方法或者reduce方法,其具体实现见package org.apache.hadoop.mapreduce包下的Mapper类和Reducer类。实现机制: Mapper类和Reducer类的run方法中将针对输入的所有对,循环执行map方法和reduce方法。请见代码Mapper类:pac...
阅读(3486) 评论(0)
    个人资料
    • 访问:1265617次
    • 积分:12573
    • 等级:
    • 排名:第1018名
    • 原创:222篇
    • 转载:44篇
    • 译文:0篇
    • 评论:158条
    最新评论