aizhenshi的博客

目的:通过一个简单的单词统计案例进行split信息获取的源码分析实现WordCount的demo代码单词统计的demo代码主要通过三个类来实现,现将代码贴出来主类WordCount:import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Int

1.先来看一下定义的节点功能2.设置namenode登录datanode的免密登录在namenode执行:$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys3.在所有的datanode节点都执行：$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_

简单WordCount的案例代码通过三个简单的类WordCount,MyMapper和MyReducer实现一个简单的单词统计的功能.WordCount类代码:import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;i

Mac下eclipse添加hadoop_eclipse_plugin插件1.先下载hadoop_eclipse_plugin插件2.进入到eclipse的dropins目录进入方式可从网上查找3.把hadoop_eclipse_plugin.jar放进dropins目录4.重启eclipse，打开window-> show view-> other-> MapReduce Tools,选择Map/R

今天在使用eclipse码代码的时候，为了方便插件使用用户名root进行登录，对mac账号用户名进行了修改。修改后发现悲剧了。 在此记录一下，对被这个坑埋过的同学提供方便。出现的问题主要有两点1.数据恢复问题1）修改用户名后，mac系统认为是创建了一个新的用户，这时候，之前管理员账号的数据在当前用户的finder里是看不到的。这时候可以去到桌面，点击又上角的“前往” 点击“电脑” 点击“Mac

前言:今天在eclipse上编译jar包放到hadoop上运行的时候出现了版本冲突的问题.报错内容:在linux机器上执行如下命令:hadoop jar XXXXX.jar com.XXX.XXXXXX出现了如下报错内容:Exception in thread "main" java.lang.UnsupportedClassVersionError: com/XXX/XXXXXX : Unsupp