Hadoop
知天易or逆天难
为往圣继绝学
展开
-
离线安装CM5和CDH5.13完全教程
安装过程较为详细,需要安装的同学可以好好查看—关于CDH和Cloudera ManagerCDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。Cloudera Manager则是为了便于在集...转载 2017-11-15 14:43:36 · 15439 阅读 · 0 评论 -
Hadoop MapReduce中如何处理跨行Block和inputSplit
Hadoop MapReduce中如何处理跨行Block和inputSplit http://www.aboutyun.com/forum.php?mod=viewthread&tid=7704 (出处: about云开发)Hadoop的初学者经常会疑惑这样两个问题: 1.Hadoop的一个Block默认是64M,那么对于一个记录行形式的文本,会不会造成一行记录被分到两个Block当中? 2转载 2017-11-09 10:03:44 · 505 阅读 · 0 评论 -
hadoop fs,hadoop dfs以及hdfs dfs区别
该文由本人于网上查阅资料所得,如有错误希望帮忙评论指正谢谢。hadoop fs: FS relates to a generic file system which can point to any file systems like local, HDFS etc. So this can be used when you are dealing with different file sys原创 2017-11-09 09:21:43 · 23164 阅读 · 2 评论 -
wordcount任务FileInputFormat.addInputPath()要求jobconf与job不匹配问题
这个问题涉及到了新老api的问题,出现这个的问题的同学是因为FileInputFormat导入错误,导入了org.apache.hadoop.mapred中的FileInputFormat类,该类要求jobconf参数,实际上应该导入的是import org.apache.hadoop.mapreduce.lib.input.FileInputFormat这个类,出现该问题的同学可以好好检查一下。...原创 2017-11-16 20:41:15 · 2866 阅读 · 1 评论