hadoop学习
文章平均质量分 63
Jamsqun
这个作者很懒,什么都没留下…
展开
-
Hadoop 实现WritableComparable的类
首先要了解hadoop的序列化序列化(serialization): 序列化指的是将结构化对象转为字节流以便于通过网络进行传输或写入持久存储的过程。反序列化指的是将字节流转为一系列结构化对象的过程。 序列化用于:进程间通信与持久存储。 RPC序列化建议的特性 1.紧凑(Compact)即方便网络传输,充分利用存储空间 2.快速(原创 2013-11-17 20:25:17 · 757 阅读 · 0 评论 -
HDFS命令行操作
HDFS文件操作命令1、列出HDFS文件bin/hadoop fs -ls在HDFS中未带参数的-ls命令没有返回任何值,它默认返回HDFS的“home”目录下的内容,在HDFS中,没有当前目录这一概念,也没有cd命令。2、列HDFS目录下某个文档中的文件bin/hadooop fs -ls in3、上传文件到HDFSbin/hadoop fs -put test1 t原创 2013-11-09 17:14:46 · 936 阅读 · 0 评论 -
Hadoop学习笔记---1.wordcount程序的剖析
前些天一直都把时间花在了装hadoop上,今天终于运行了自己的首个hadoop程序,现在将程序和自己对程序的理解贴出来和大家分享import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop原创 2013-11-09 21:31:55 · 527 阅读 · 0 评论