xuedingkai的博客

MapReduce作业接受序列化文件的输入时，可通过配置job的输入文件格式实现，具体见代码：package hadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apach

package hadoop;import java.io.IOException;import java.net.URI;import java.nio.file.Path;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.had

hadoop mapreduce作业通过组合key实现二次排序的过程中，只要实现组合key的类就可以了。mapreduce框架本身会基于key对输出进行排序。而partion函数只为了是实现数据规模较大时，对map的输出实现分区。为启动多个reduce任务做准备。group函数也是可有可无的。group函数的作用是对key进行分组，例如对于map的结果：[(k1, k21), v1

输入：邻接表100, 200 300 400 500 600200, 100 300 400300, 100 200 400 500400, 100 200 300500, 100 300600, 100第一列表示用户，后面的表示用户的好友。需求：查找两两用户的共同好友。思路：1、key为两两用户，value为其中一个用户的所有好友            2、求两个用户所

网上好多好推荐之类的博客都是基于二度好友的推荐，下面介绍基于邻接表的好友推荐。输入：1 2,3,4,5,6,7,82 1,3,4,5,73 1,24 1,2,65 1,26 1,47 1,28 1第一列表示用户，后面的表示用户的所有好友。需求：找出用户好友的好友且与用户不是好友的，推荐给用户。思路：1、key为user，value可设计成user有关联关系的人及关

HBase单节点模式需配置三个文件1、配置hbase-env.sh       a）修改 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64       b）修改 export HBASE_MANAGES_ZK=false             默认为true，意思是使用自带的zooKeeper2、配置hb