shidan77的博客

        问题描述：配置好hadoop并启动后，可以正常使用hdfs和mapreduce，但是不能打开Namenode和Jobtracker的web管理界面，错误代码404。        原因：该问题很有可能是由于HADOOP_HOME下面存在build文件夹引起的，将其改名后重启，问题解决。当编译过hadoop后，会生成一个build目录，仔细看hadoop的启动脚本会发现，如果...

运行job的时候出现以下异常：java.lang.ClassCastException: class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text at java.lang.Class.asSubclass(Class.java:3116) at org.apac...

        在虚拟机中搭建了一个伪分布式的hadoop环境，基于ubuntu13.04，可以在命令行中通过hadoop jar运行自带wordcount。另外，主机运行的是win7+eclipse4.3，已将hadoop的源码导入eclipse，并且eclipse的hadoop插件也已经编译安装好了，但是在主机的eclipse中run on hadoop运行wordcount，却总是报一个...

写完回头看看，发现好像有点儿乱，对不住各位看官啦，限于个人水平，有错误的地方请大家予以回复纠正。 环境：主机WIN7+Eclipse4.3，hadoop源码已导入eclipse，虚拟机中运行Ubuntu13.04，伪分布式模式运行hadoop。在eclipse中调试wordcount，为了防止出现Failed to set permissions of path的异常，将org.apa...

        最近学习Hadoop，遇到一个问题，在eclipse中写完MapReduce之后如何在Hadoop中运行呢，常见的做法是将程序打成一个Jar包，然后传到hadoop集群中，通过命令行$HADOOP_HOME/bin/hadoop jar命令来运行，但是每次都要这样，十分麻烦。        当然，也可以在eclipse中安装hadoop的插件，可以方便的run on had...

        我们知道，在Hadoop中作业运行的时候，Map的数量是由输入分片的数量决定的，但是分片的数量，并不是简单的按照文件的大小和blockSize的大小来切分的，分片的数量其实也是经过一系列的计算得到的，我们常用的InputFormat很多都是继承自FileInputFormat，该类时个抽象类，但是其中的getSplits方法是有完整的实现的，如果我们没有刻意去覆盖的话，也是会按照...