▶ 【大数据】
徐志鹏
成长的足迹在这开始
展开
-
hadoop入门教程-程序小实例
无论是在微信还是QQ,我们经常看到好友推荐这样的功能,其实这个功能是在大数据的基础上实现的,下面来看具体的代码实现: 在src下添加三个类:JobRun.java: package com.lftgb.mr; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.原创 2016-03-31 22:09:04 · 2581 阅读 · 4 评论 -
hadoop入门教程-核心组件MR
hadoop分布式计算框架--mapReduce,简称MR(离线计算),设计理念为: ----何为分布式计算; ----移动计算,而不是移动数据; 提到mapReduce,我们先来了解它的架构: * 首先是一个一主多从架构; * 其次,主要有主 jobTracker和从TaskTracker两部分;其中jobTracker负责调度分配每一个子任务task运行于taskTracker上,如原创 2016-03-31 22:02:21 · 991 阅读 · 1 评论