hadoop
文章平均质量分 71
_lichaoxi
javaWeb
展开
-
hadoop源码分析-WritableComparator
类:public class WritableComparator implements RawComparator 方法一: public static int compareBytes(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) { int e原创 2016-10-12 19:45:38 · 591 阅读 · 0 评论 -
window环境远程连接hadoop2.8.3并运行mapreduce(1)
环境:win7 vmware myeclipse hadoop2.8.3(http://archive.apache.org/dist/hadoop/)windows下运行mapreduce所需的库文件(hdfs操作不需要)https://github.com/steveloughran/winutilsLinux环境: 仅主机模式:编辑菜单->...原创 2018-08-29 15:29:19 · 841 阅读 · 0 评论 -
windows下eclipse项目java客户端远程操作hadoop2.8.3文件系统dfs(2)
hadoop环境搭建详情见上一篇博客(上一篇中的配置直接影响到本程序的运行) 值得注意的有:hadoop-eclipse插件的设置、虚拟机中主机名和IP的映射关系、hadoop5个配置文件、设置系统变量HADOOP_USER_NAME pack...原创 2018-08-29 19:44:03 · 400 阅读 · 0 评论 -
windows下eclipse项目wordcount操作hadoop2.8.3 mapreduce(3)
hadoop环境搭建详情见hadoop系列第一篇博客(hadoop配置直接影响到本程序的运行) 另外,windows环境下运行mapreduce程序需要hadoop.dll与winutils.exe的支持https://github.com/steveloughran/winutils本次示例为hadoop2.8.3,把对应版本的hadoop.dll与winutils.exe复制到本...原创 2018-08-30 09:43:37 · 345 阅读 · 0 评论 -
windows下eclipse项目KPIUrlViewerCounter操作hadoop2.8.3 mapreduce(4)
hadoop环境搭建详情见hadoop系列第一篇与第三篇博客(hadoop配置直接影响到本程序的运行) 数据准备(https://download.csdn.net/download/elmo66/10636257):[hadoop@yourname ~]$ hadoop dfs -mkdir /UrlViewerCounter[hadoop@yourname ~]$ hadoo...原创 2018-08-31 11:15:24 · 350 阅读 · 0 评论