xhjx2618的专栏

这里参考了文章:http://blog.csdn.net/shirdrn/article/details/4571445从Client如何向Server发送一个Call入手,先看下函数:public Writable call(Writable param, ConnectionId remoteId) throws InterruptedException, IOExcep

1准备数据集这里使用了movieLen的数据集,下载地址: http://www.grouplens.org/node/73 这里选取了那个1m的数据集下载之后还要写个小程序将格式转化成csv格式的,才能在作为hadoop的输入package com.dataset.format.convert;import java.io.BufferedReader;

Hadoop集群中分主节点master节点和slave节点，master节点监控slave节点。master和slave之间通过ssh协议进行通信。       master节点上部署有JobTracker和NameNode，当然也可以部署TaskTracker和DataNode。slave节点上部署TaskTracker和DataNode节点。JobTracker监控TaskTracke

1.hadoop程序编译，奇怪，用户主目录用～来代替时会报错javac -classpath /home/hejun/app/hadoop/hadoop-core-1.0.1.jar:/home/hejun/app/hadoop/lib/commons-cli-1.2.jar -d . WordCount.java 2.打包jar -cvf wordcount.ja

1.安装svn    sudo apt-get install svn 2 安装 Ant     1. 到Apache官网下载最新版本的ant：http://ant.apache.org/bindownload.cgi    2. 解压下载下来的.tar.gz文件： tar -xf apache-ant-1.8.2-bin.tar.gz (可能会要求输入密码

1.如何让/etc/profile文件修改后立即生效方法1：让/etc/profile文件修改后立即生效 ,可以使用如下命令:# .  /etc/profile注意: . 和 /etc/profile 有空格方法2：让/etc/profile文件修改后立即生效 ,可以使用如下命令:# source /etc/profile附：Linux中sour

参考：http://wenku.it168.com/d_000049179.shtml1. 机器配置共有三台机器，主机名为node1，node2,node3                ip                      子网掩码           网关node1 : 192.168.10.1     255.255.255.0   192,168.10.2

本文转自：http://blog.csdn.net/liuxiaochen123/article/details/7815562WholeFileRecordReader：package com.pzoom.mr.sequence;import java.io.IOException;import org.apache.hadoop.conf.Configuration;im

org.apache.mahout.clustering.syntheticcontrol.kmeans.run(Configuration conf, Path input, Path output,DistanceMeasure measure, int k, double convergenceDelta,int maxIterations)，这是我们分析的起点：publ

phase1: convert items to an internal index     这步主要是将itemId转成一个int。     input:用户评分文件（这也是我们最原始的输入了），格式一般为：userId \t itemId \t score。     map:(index, itemId)     reduce: (index, itemId)

本文转自：http://www.blogjava.net/shenh062326/archive/2011/01/14/342959.html概括Hadoop包括hdfs与mapreduce两部分，在试用期期间我主要看了mapreduce部分，即hadoop执行作业的部分。mapreduce中几个主要的概念       mapreduce整体上可以分为这么几条执