- 博客(9)
- 收藏
- 关注
RSS订阅原创 Spring For Hadoop学习笔记（3）
绑spring跑Hadoop的案例已经跑成功，下面贴个代码。CountMapper.java:CountReducer.java:import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import
2015-05-23 13:53:27
396
原创 Spring For Hadoop学习笔记（2）
下面来配置一个hadoop作业的参数，同配置hadoop环境参数相似。<hdp:job id="mr-job" input-path="/input/" output-path="/ouput/" mapper="org.apache.hadoop.examples.WordCount.TokenizerMapper" reducer="org.apache.hadoop.exam
2015-05-20 16:36:03
503
原创 Spring For Hadoop学习笔记（1）
今天开始学习Spring For Hadoop的使用，起步阶段先实现使用Spring For Hadoop跑通最简单的wordcount案例，后期使用HBase，再整合进Web项目里。网上Spring For Hadoop的中文教程较少，先从官方文档开始学起。
2015-05-20 10:58:37
544
2
原创 关于Yarn的一些归纳
为弥补老mapreduce中jobtracker和tasktracker的一些缺陷，0.23以后对整个mapreduce重构而产生了新mapreduce——Yarn。原框架中核心的 JobTracker 和 TaskTracker 不见了，取而代之的是 ResourceManager, ApplicationMaster 与 NodeManager 三个部分。
2015-04-24 10:54:38
364
原创 Hadoop学习笔记(2)——搭建平台
我使用的是Ubuntu14操作系统，在两台PC机间组建集群。1.Ubuntu的安装我使用U盘安装。从Ubuntu官网下载镜像文件http://www.ubuntu.org.cn/index_kylin。使用UltralSO制作成Ubuntu的启动盘，按提示安装到集群所有PC机上。要求创建同一用户。2.集群的组建将所有LinuxPC机组建进局域网，分配静态IP。3.写入hosts
2014-11-07 17:43:36
300
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人