- 博客(6)
- 资源 (30)
- 收藏
- 关注
原创 Linux内核编译以及perfctr模块安装
Linux内核编译以及perfctr模块安装零、需求介绍 需要使用PAPI得到硬件级的数据,例如CPU clock time,L1/L2 cache miss等,而PAPI需要perfctr(Performance-monitoring counters support)模块支持,而内核当中并没有perfctr模块,并且perfctr只在某些内核上被支持,它实际上是内核的一个补丁,需要重新编译内核,打上补丁才能在内核上运行perfctr模块。更多信息参考papi和perfctr的INSTALL文件。一、
2010-08-21 14:41:00 5119 3
原创 Map和Reduce方法中操作本地文件
<br />Map和Reduce方法中操作本地文件<br /> <br /> 在Map和Reduce方法中是可以直接操作本地文件的,例如向本地文件系统中写或者读,只是这也会是分布式读和写,这会是从执行task的节点的本地硬盘中读或向其中写。<br /> 注意事项:mapreduce程序书写完毕,请务必打包成jar,在命令行提交中运行。之前我向本地文件系统写时一直不生成数据,以为map或者reduce中不能向本地文件系统写,实际上并不如此。我的错误之处是直接在主节点上的eclipse中编译运行,
2010-08-16 19:45:00 5695 1
原创 运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因
运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因 hadoop分布式配置完毕后,我将主节点的下的hadoop-0.20.1直接导入eclipse,想直接在eclipse中书写程序并直接编译运行于hadoop集群上。今天才发现,这是不可能成功的。因为我忽略了mapreduce程序在hadoop中的运行机理:mapreduce框架在运行Job时,为了使得各个从节点上能执行task任务(即map
2010-08-16 19:34:00 32343 12
原创 实现每个Map或Reduce任务只执行一次map或reduce方法
实现每个Map或Reduce任务只执行一次map或reduce方法 默认情况下map和reduce方法是针对每一个对执行一次,但是用户可以书写让map或reduce task只执行一次map或者reduce方法的应用程序。书写这样的程序之前,请先弄清MapReduce框架中map、reduce方法的运行方式。 实际上只需要在用户程序的map类和reduce类中重载run方法,把循环遍历每个输入的对放到map函数和reduce函数中处理就行了。 将代码打包成jar后,在集群中运行。 h
2010-08-16 19:12:00 3864
转载 【转】Linx踢出正在登陆的用户
Linx踢出正在登陆的用户转自: http://blog.chinaunix.net/u3/108043/showart_2121929.htmllinux强制踢出用户命令:一、输入w命令查看已登录用户信息[root@KW_S01_192.168.1.106_A ~]# w 19:22:31 up 2:11, 3 users, load average: 0.00, 0.00, 0.00USER TTY FROM LOGIN@ IDLE
2010-08-16 18:50:00 1049
原创 MapReduce框架中map、reduce方法的运行方式
MapReduce程序中的map和reduce方法是重载Mapper类和Reducer类的map和reduce方法。MapReduce程序中的map和reduce方法在框架中默认是如下运行方式:针对一个对运行一次map方法或者reduce方法,其具体实现见package org.apache.hadoop.mapreduce包下的Mapper类和Reducer类。实现机制: Mapper类和Reducer类的run方法中将针对输入的所有对,循环执行map方法和reduce方法。请见代码Mapper类:pac
2010-08-16 17:13:00 4695
Organizing Business Knowledge The MIT Process Handbook
2014-10-08
Oracle 11g R2 for Linux X64 OCCI
2011-12-07
Linux下Hadoop分布式配置和使用
2010-05-28
Ubuntu 8.10下Hadoop-0.20.1集群配置详细手册
2010-03-25
wamp server 5集成开发环境
2009-12-04
【server 2003系统下】Eclipse下实现Java和sql server/Oracle连接详细步骤说明
2009-04-10
C#最长匹配算法切词程序(信息检索)
2009-04-10
基于asp+Access的大中型论坛
2009-04-10
ETL过程概念建模好资料
2009-04-04
基于UML的ETL过程建模方法
2009-04-03
基于.NET的网上电子商城
2009-03-23
基于vb6.0+sql server 2000 的图书管理系统
2009-02-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人