- 博客(10)
- 资源 (15)
- 收藏
- 关注
转载 Hadoop中map/reduce编程中关于mapper和reducer的Format问题
[日期:2012-01-16]来源:Linux社区 作者:ae86_fc[字体:大 中 小]Hadoop中的map/reduce编程中有几个非常关键的组件,其中包括 Mapper,Reducer,InputFormat,OutputFormat,OutputKeyClass,OutputValueClass 等,在刚接触map/reduce编程的时候很容易由于
2013-05-31 17:01:33 1290
转载 Hadoop中文件读写(Java)
前言在本文档中,你将了解到如何用Java接口读写Hadoop分布式系统中的文件,以及编码的转换等问题。其中有些细节,在你不知道的时候,是非常容易出错的。 这边读写文件分以下三种情况:1. 在非Map Reduce过程中读写分布式文件系统中的文件比如说,你想自己遍历一个文件,想截断一个文件,都属于这种方式。一般该过程发生在run函数中,程序员处理Map Reduce产生的中间
2013-05-31 16:51:33 2606
转载 Mapreduce的输入格式
http://blog.csdn.net/lilin_xdu/article/details/7790891map(k1,v1)——>list(k2,v2)reduce(k2,list(v2))->list(k3,v3)reduce的输入类型必须与map函数的输出类型相同combine的输入输出键值类型必须相同,也就是k2,v2static class Mapp
2013-05-31 16:28:31 1159
原创 hadoop之测试KMeans(二):输出结果分析
上次给出了hadoop之测试KMeans(一):运行源码实例,这次来分析一下整个MapReduce的输出结果。测试数据文件依然是文一中提到的15组数据:(20,30) (50,61) (20,32) (50,64) (59,67)(24,34) (19,39) (20,32) (50,65) (50,77) (20,30) (20,31) (20,32) (50,64) (50,67) 先
2013-05-28 12:55:25 4872
转载 JAVA API文档,可以直接进行API搜索
找了好久,终于找到一个好用的API参考文档,可以进行函数的搜索,有点像MSDN,目前感觉还不错。下面内容转载:http://www.javatang.com/javadoc2006年06月5日Java DocFiled under: — Jet Ma @ 10:54 上午原文出处: Java Doc作者: Jet Mah from Java堂声明: 可以
2013-05-27 16:09:25 5557
原创 hadoop通过FileSystem API读取和写入数据
看hadoop指南(有更好的源码),自己测试着写了一个小例子,在伪分布式上测试成功,对JAVA的一些API也不太了解,都是一个熟悉的过程吧。这个例子主要可以熟悉一些API,以及理解各个类之间的调用和转化关系,重新学习一门语言,主要还是API的一些操作问题,慢慢来吧,别着急,come on.import java.io.InputStream;import java.i
2013-05-27 15:28:19 4107
原创 hadoop之测试KMeans(一):运行源码实例
新学hadoop,测试了hello word级别的程序WordCount,打算用hadoop做聚类分析,这次测试KMeans,二维的数据,具体代码来自于http://download.csdn.net/detail/tinycui/4384750#comment,由于评论中大家对于文档偏少,所以这里详细的介绍一下我的测试过程(伪分布式),以供参考,同时感谢tinycui提供的源代码下载。
2013-05-24 11:21:16 11233 22
转载 eclipse关联JAVA API文档以及ubuntu中提示的黑色背景修改
【转,由于这个太多,无法确认源于哪里。这个变化的是下载地址已经无效,我的下载地址为:http://dlc.sun.com.edgesuite.net/jdk/jdk-api-localizations/jdk-api-zh-cn/publish/1.6.0/html/。另外还需注意的是,源代码连接默认使用了JDK安装文件夹中自带的src.zip文件,其中源代码中包含英文的Javadoc信息。所以选
2013-05-01 05:00:45 1168
原创 浮点计算数值误差及PI的蒙特卡罗近似计算
看JAVA语言程序设计基础,因为以前学习的都是C++, 总体基本上相似。不过这本书里有几个比较有意思的小地方,比如书中写的最小化数值误差(4.7),书中说在大数之前先增加小数是减少误差的方法。如://第一种方法求0.01到1之间递增的数列之和for(float i = 0.01f; i<= 1.0f; i = i + 0.01f){sum +=i;}//第二种for(doub
2013-05-01 02:10:42 1788
原创 java初学常用
eclipse 设置自动提示eclipse有,window--preference--java--editor--content assist,页面最下面倒数第二行那个框里修改成.abcdefghijklmnopqrstuvwxyz就好了Eclipse中对齐代码快捷键ctrl+shift+fEclipse注释代码1.选中你要加注释的区域,用ctrl+sh
2013-05-01 01:46:23 801
阿里安全峰会 PPT合集 下
2015-07-24
阿里安全峰会2015 PPT合集-上
2015-07-24
SQLServer一些资料打包,仅供学习
2011-12-21
关于数组指针和指向数组指针的指针及其new
2011-12-07
简单学生信息管理实例VC+SQL+ADO
2011-04-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人