- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 目前高性能计算基准测试程序分类
转载自：http://blog.csdn.net/flyingstarwb/article/details/4225913目前高性能计算基准测试程序分类基准测试程序基准测试程序(Benchmark)用于测试和预测计算机系统的性能，揭示不同结构机器的长处和短处，为用户决定购买或使用那种机器最合适他们的应用要求提供决策。基准测试程序试图提供一个客观，公正的评价机器性能的标准。但
2013-11-16 16:54:50
3351
原创 我的hadoop程序之-------------------矩阵相乘单mapreduce-----------MartrixMulti----
矩阵相乘是经典hadoop程序，也是必备程序，这里给出自己实现了的新版API下mapreduce代码。输入：文件名：afile.txt1 1 11 2 21 3 32 1 42 2 53 1 73 2 83 3 94 1 104 2 114 3 12文件名：bfile.txt1 1 101 2 152 2 23 1 113 2 9输出
2013-11-14 09:01:30
1203
转载 map中获取输入文件路径
在mapper中获取当前正在处理的HDFS文件名/HDFS目录名有时候，Hadoop是按行来对数据进行处理的，由于对每一行数据，map()函数会被调用一次，我们有时可以根据文件名/目录名来获取一些信息，从而把它们输出，例如，目录名中包含了日期，则我们可以取出来并输出到Reducer。在map()函数中，我们可以这样取文件名：12
2013-11-13 19:37:01
1486
原创 我的hadoop程序之----------------------DataJoinDC------------多表链接的分布式缓存实现（新版API）
完成的任务多表链接，前面已经实现过一次了，这次使用hadoop的分布式缓存DistributedCache来实现，节省了map之后要传输给reducer大量的数据开销，使用DistributedCache的前提条件是，链接的两个表，有一个是小表，另一个是大表，将小表放入DistributedCache中，从而实现将小表分布式存储在每个map节点，节省了大部分传出开销，这里的饿例子只是一个测试用的小
2013-11-11 21:20:07
803
转载 Iterable和Iterator的区别
java.lang.Iterablejava.util.Iterator来自百度知道：Iterator是迭代器类，而Iterable是接口。好多类都实现了Iterable接口，这样对象就可以调用iterator()方法。一般都是结合着用，比如HashMap类就实现了Iterable接口，而要访问或打印出Map中所有内容时，就可以这样： HashMap hashMap;
2013-11-08 14:50:26
727
原创 我的hadoop程序之---------------PutMerge--------
hadoop in action中的代码：package bin;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSData
2013-11-06 11:16:44
962
3
原创 hadoop1.2.1集群安装（虚拟机和主机ubuntu12.04构成）----连接eclipse
集群安装，是在一台机子上，用本机ubuntu12.04当作master，启动两台虚拟机ubuntu12.04作为slave001和slave002，虚拟机使用KVM（KVM在ubuntu上的表现是集中虚拟机产品中比较好的）。master：192.168.1.10slave001：192.168.1.246slave002：192.168.1.249首先在主机上设置桥接上网，设置
2013-11-02 11:54:18
913
转载 新版hadoop----Yarn-----简介以及简单理解
小结：ResourceManager：调度，启动，监控每一个 Job 所属的 ApplicationMaster。发送心跳，按照Context以及接收到的NodeManager 的状态信息，启动调度过程，分配一个 Container 作为ApplicationMaster。-------相当与之前版本的JobTracker。ApplicationMaster：每一个job有一个Ap
2013-11-01 19:09:28
774
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人