hadoop
文章平均质量分 66
wangjinyang_123
这个作者很懒,什么都没留下…
展开
-
hadoop源码
源码地址:http://svn.apache.org/repos/asf/hadoop/common/branches/原创 2014-03-11 12:13:10 · 572 阅读 · 0 评论 -
MapReduce源码(二)
吐槽一下,上一篇中用MarkDown编辑器感觉太差劲了,写一点花了那么多的时间。还是接着上面的写,写到Context类的继承关系。在Mapper类中和Reducer类中使用的Context类名一样,但是它们却是不同的上下文对象,Mapper类中Context继承的是MapContext类,而Reducer类中Context继承的则是ReduceContext,但是这两个类都继承自相同的抽象父类原创 2015-07-16 18:58:07 · 373 阅读 · 0 评论 -
MapReduce源码理解
hadoop源码原创 2015-07-14 15:10:25 · 443 阅读 · 0 评论 -
DistributedCache的使用
MapReduce Job中使用全局共享数据是不可避免的,但是根据该框架的特点,在代码级别实现全局变量是不现实的,主要是因为继承Mapper基类的Map阶段类和继承Reducer基类的Reduce阶段类的运行时独立的,并不像代码看起来的那样会共享一个Java虚拟机的资源。常用的在MapReduce编程中设置全局共享数据的方法主要有:1.读写HDFS文件数据文件放在HDFS上,Map tas原创 2015-07-13 21:01:14 · 2184 阅读 · 0 评论 -
Hadoop DistributedCache使用及原理
概览DistributedCache 是一个提供给Map/Reduce框架的工具,用来缓存文件(text, archives, jars and so on)文件的默认访问协议为(hdfs://). DistributedCache将拷贝缓存的文件到Slave节点在任何Job在节点上执行之前。文件在每个Job中只会被拷贝一次,缓存的归档文件会被在Slav转载 2015-07-13 21:09:28 · 1951 阅读 · 0 评论 -
MapReduce的流程
又重新开始看Hadoop,坚定的走这条路吧。以后也会把自己的一些理解写下来,如果有不对的地方请大家指出。 先从MapReduce的Map和Reducer说起。用Hadoop的分布式计算框架处理数据时:先通过Map函数处理键值对,再将Map函数的输出作为Reduce函数的输入,Map函数的输出键值对类型必须和Reduce函数的输入的键值对类型一致,最后Reduce函数计算完成后将结果输出到H原创 2015-05-28 20:33:12 · 877 阅读 · 0 评论 -
Hadoop API 使用介绍
Hadoop API被分成(divide into)如下几种主要的包(package)org.apache.hadoop.conf 定义了系统参数的配置文件处理API。org.apache.hadoop.fs 定义了抽象的文件系统API。org.apache.hadoop.dfs Hadoop分布式文件系统(HDFS)模块的实现。org.apa转载 2014-10-28 10:58:05 · 1096 阅读 · 0 评论 -
远程调用执行Hadoop Map/Reduce
在Web项目中,由用户下发任务后,后台服务器远程调用JobTracker所在服务器,运行Map/Reduce更符合B/S架构的习惯。由于网上没有相关资料,所以自己实现了一个,现在分享一下。注:基于Hadoop1.1.2版本转发请注明地址:http://sgq0085.iteye.com/admin/blogs/1879442一个常见的WordCount如下:转载 2014-04-11 17:30:30 · 816 阅读 · 0 评论 -
windows或Linux下的myeclipse调用MapReduce程序的实现
今天经大侠指点终于算是完成了这一部分,算是原创 2014-04-18 16:53:30 · 1364 阅读 · 0 评论 -
java.lang.ClassNotFoundException: org.apache.hadoop.hbase.mapreduce.TableOutputFormat解决办法
在Hadoop-env.sh中加上export HBASE_HOME=/home/hadoop/hbase-0.90.5export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.90.5.jar:$HBASE_HOME/hbase-0.90.5-tests.jar:$HBASE_HOME/conf:$HBASE_HOME/lib/zookeeper-3.4.5原创 2014-04-03 16:47:44 · 12428 阅读 · 0 评论 -
myeclipse中调用MapReduce程序的权限问题的解决办法
org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="user":nutch:supergroup:rwxr-xr-x原创 2014-04-18 13:11:03 · 1130 阅读 · 0 评论 -
Hadoop版本第一代的配置以及升级总结
经过这几天不停的配置,换了几个版本原创 2014-04-15 13:14:50 · 692 阅读 · 1 评论 -
hadoop-1.0.4-eclipse-plunge.jar 编译。千辛万苦,终于是出来了。下面的我的有些还是有点小区别,但是大体还是一样的
编译hadoop1.0.4中eclipse-plugin的jar包胖叔提醒~转发请注明文章出处:http://www.cnblogs.com/njuduyu/articles/2991657.html今天准备做hadoop的第一个课程作业,首先是要配一下eclipse,按照网上以及教材上的方法,首先要安装eclipse,然后在里面安装插件。eclipse的安装就不必累赘转载 2014-04-13 21:41:07 · 928 阅读 · 0 评论 -
hadoop-1.0.4+zookeeper-3.4.5+Hbase-0.90.5搭建体会
以前搭建了一个平台,可以用,可是由于hadoop版本太低,所以想重新搭建一个,当然也可以原创 2014-04-13 15:43:13 · 727 阅读 · 0 评论 -
Hadoop Counter
hadoop计数器的主要价值在于可以让开发人员以全局的视角来审查程序的运行情况,及时做出错误诊断并进行相应处理hadoop内置了很多计数器,这些计数器大体上可分为三组,MapReduce相关、文件系统相关和作业调度相关,分别统计每一个环节的处理情况,计数详情可通过http://master:50030/jobdetails.jsp界面进行查看除了内置计数器,hadoop还提供自转载 2015-07-19 15:25:06 · 560 阅读 · 0 评论