自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 资源 (5)
  • 收藏
  • 关注

原创 eclipse下提交job时报错mapred.JobClient: No job jar file set. User classes may not be found.

windows下,连接远程集群,直接在eclipse里运行mapreduce作业时,错误信息:11/10/14 13:52:07 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.11/1

2013-12-18 16:04:26 12537 3

转载 Hadoop源码浅析——Job提交相关

Configuration类是用来访问hadoop的配置参数的。Configuration类首先会通过静态代码段加载hadoop的配置文件core-default.xml和和core-site.xml,相关代码如下:[java] view plaincopy"font-size:16px;">static{       //print deprecation war

2013-12-18 15:56:57 847

原创 MapReduce中第三方jar的存放

如果在MapReduce中用到了第三方的Jar包,怎么处理呢?据说有3种方法:要么-libjars,要么加到HADOOP_HOME/lib下(所有子节点),要么打包进目标jar。最简单的做法是:在classpath下建立 lib目录,将jar考到lib目录下。据说这是hadoop 的作者不知在什么会议上答复的。这里恍然大悟,为什么hadoop hbase下都有lib目录存放jar包,他

2013-12-10 19:31:30 1247

原创 MapReduce中设置全局变量

实际项目中遇到这样一个场景,需要运行一个MapReduce统计一些数据中的最大最小平均值等特性,将结果存入到HBase中。存结果的同时还要记录这次分析任务的编号,即所有的Reduce产生的结果中都要包含这个任务编号这个字段。当然我们可以把这个任务编号放到输入文件中的每一行中,作为输入数据的一部分,不过这样做显然太不专业,无端的增加了要处理的数据量,加重网络负担。经过网上搜索,发现可以用Config

2013-12-10 19:24:59 7613

mahout in action

mahout in action hadoop 机器学习算法

2012-12-19

指纹分割程序,matlab

基于灰度膨胀的matlab指纹分割程序,效果不错。来自cubs

2008-11-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除