dashen0的博客

WordCount，小demo备忘/usr/local/hadoop# bin/hadoop namenode -format/usr/local/hadoop# bin/start-all.sh/usr/local/hadoop# jps/usr/local/hadoop# sudo mkdir test/usr/local/hadoop# la/usr/local/h...

       最近小组任务是在MapReduce编程模型，分析其接口体系结构，即InputFormat、Mapper、Partitioner、Reducer和OutputFormat五个接口的分析，我的任务是分析InputFormat接口，当时觉得不就是几个接口吗，还用得着五个人来分工，回家一晚上就可以全部搞定，好在当时没有冲动，现在花了一周（其实只有假期里）总算勉强玩转一个，想想还有点小...

OutputFormat主要用于描述数据输出的格式，它能够将用户提供的key/value对写入特定格式的文件中。与InputFormat相似，OutputFormat也是一个接口，旧版API有两个方法：RecordWriter<K,V> getRecordWriter(FileSystem ignored,JobConf job,String name,Progressab...

由于毛毛多原因一直没机会跑一个完全分布式，上次由于网络不稳定失败后就一直没在搞过，想想还是做点笔记备忘下。已经安装好hadoop环境下：1、配置host文件，即确定各结点ip2、配置ssh无密码登录3、配置namenode，修改site4、配置hadoop-env.sh文件，导入 jdk 就好5、配置maste与slaves结点文件6、一致hadoop，分别向各结点复...