hadoop
彩虹-
zhaorulysy@163.com
展开
-
hadoop中的若干异常的解决办法
转载地址 :http://ghostjay.blog.51cto.com/2815221/515799 异常1 hadoop@ubuntu:~$ hadoop/bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input01 output01 Exception in thread "main" java.io.IOExcep转载 2013-03-28 16:33:57 · 793 阅读 · 0 评论 -
MapReduce高级编程之自定义DataType
转载地址:http://datamining.xmu.edu.cn/bbs/home.php?mod=space&uid=91&do=blog&id=185 Hadoop是用JAVA语言实现,然而它的基本数据类型却不是标准的JAVA对象,而是对他们的一个封装,序列化 序列化是指将结构化对象转换为字节流,以便于在网络上进行传输或写到磁盘进行永久存储 Had转载 2013-03-21 17:49:27 · 818 阅读 · 0 评论 -
MapReduce高级编程之自定义InputFormat
转载地址:http://datamining.xmu.edu.cn/bbs/home.php?mod=space&uid=91&do=blog&id=190 InputFormat是MapReduce中一个很常用的概念,它在程序的运行中到底起到了什么作用呢? InputFormat其实是一个接口,包含了两个方法: public interface InputFormat {转载 2013-03-21 18:21:31 · 673 阅读 · 0 评论 -
hadoop 伪分布 搭建
在网上总结了好多人的blog。发现只有自己动手做才是王道。就自己将自己做的过程记录下来备用。 先是安装虚拟机 和centos 。 之后是安装ssh。 SSH无密码验证配置(最好在root环境下) Hadoop需要使用SSH协议,namenode将使用SSH协议启动namenode和datanode进程,伪分布式模式数据节点和名字节点均是本身,必须配置SSHlo原创 2013-03-27 15:20:02 · 658 阅读 · 0 评论