hadoop
古巴与八股
未来的相视一笑 只因曾经的全然相爱
展开
-
mapreduce作业接受序列化文件(SequenceFile)作为文件输入的WordCount程序
MapReduce作业接受序列化文件的输入时,可通过配置job的输入文件格式实现,具体见代码: package hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apach原创 2017-09-25 22:38:01 · 418 阅读 · 0 评论 -
hadoop生成序列化文件(SequenceFile)的程序
package hadoop; import java.io.IOException; import java.net.URI; import java.nio.file.Path; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.had原创 2017-10-10 23:18:45 · 919 阅读 · 0 评论 -
hadoop 二次排序 group函数的作用的说明
hadoop mapreduce作业通过组合key实现二次排序的过程中,只要实现组合key的类就可以了。mapreduce框架本身会基于key对输出进行排序。 而partion函数只为了是实现数据规模较大时,对map的输出实现分区。为启动多个reduce任务做准备。 group函数也是可有可无的。 group函数的作用是对key进行分组,例如对于map的结果: [(k1, k21), v1原创 2017-10-10 20:55:19 · 635 阅读 · 0 评论 -
MapReduce实现之 查找共同好友
输入:邻接表 100, 200 300 400 500 600 200, 100 300 400 300, 100 200 400 500 400, 100 200 300 500, 100 300 600, 100第一列表示用户,后面的表示用户的好友。 需求:查找两两用户的共同好友。 思路:1、key为两两用户,value为其中一个用户的所有好友 2、求两个用户所原创 2018-01-07 21:42:51 · 1297 阅读 · 0 评论 -
MapReduce实现之 好友推荐
网上好多好推荐之类的博客都是基于二度好友的推荐,下面介绍基于邻接表的好友推荐。 输入: 1 2,3,4,5,6,7,8 2 1,3,4,5,7 3 1,2 4 1,2,6 5 1,2 6 1,4 7 1,2 8 1 第一列表示用户,后面的表示用户的所有好友。 需求:找出用户好友的好友且与用户不是好友的,推荐给用户。 思路:1、key为user,value可设计成user有关联关系的人及关原创 2018-01-07 22:09:25 · 1627 阅读 · 0 评论 -
HBase单节点的配置
HBase单节点模式需配置三个文件 1、配置hbase-env.sh a)修改 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 b)修改 export HBASE_MANAGES_ZK=false 默认为true,意思是使用自带的zooKeeper 2、配置hb原创 2017-09-23 13:18:52 · 692 阅读 · 0 评论