hadoop
关注
分享
扫一扫
Oblivious_001
这个作者很懒，什么都没留下…
展开
-
Hadoop学习笔记(2)——搭建平台
我使用的是Ubuntu14操作系统，在两台PC机间组建集群。 1.Ubuntu的安装 我使用U盘安装。从Ubuntu官网下载镜像文件http://www.ubuntu.org.cn/index_kylin。使用UltralSO制作成Ubuntu的启动盘，按提示安装到集群所有PC机上。要求创建同一用户。 2.集群的组建 将所有LinuxPC机组建进局域网，分配静态IP。 3.写入hosts原创 2014-11-07 17:43:36 · 325 阅读 · 0 评论 -
Hadoop学习笔记(3)——Hadoop的安装、配置和启动
这里我讲的是完全分布式安装，单机模式和wei原创 2014-11-07 19:33:50 · 291 阅读 · 0 评论 -
Hadoop学习笔记(1)——初识Hadoop
1.Hadoop是什么？原创 2014-11-07 16:38:12 · 350 阅读 · 0 评论 -
Hadoop学习笔记(4)——小案例测试
成功启动Hadoop后，我们用一个小例子来测试。 1.创建原创 2014-11-08 13:21:57 · 345 阅读 · 0 评论 -
Hadoop学习笔记(5)——各命令说明
st原创 2014-11-08 13:42:17 · 364 阅读 · 0 评论 -
关于Yarn的一些归纳
为弥补老mapreduce中jobtracker和tasktracker的一些缺陷，0.23以后对整个mapreduce重构而产生了新mapreduce——Yarn。 原框架中核心的 JobTracker 和 TaskTracker 不见了，取而代之的是 ResourceManager, ApplicationMaster 与 NodeManager 三个部分。原创 2015-04-24 10:54:38 · 410 阅读 · 0 评论 -
Spring For Hadoop学习笔记（1）
今天开始学习Spring For Hadoop的使用，起步阶段先实现使用Spring For Hadoop跑通最简单的wordcount案例，后期使用HBase，再整合进Web项目里。 网上Spring For Hadoop的中文教程较少，先从官方文档开始学起。原创 2015-05-20 10:58:37 · 566 阅读 · 2 评论 -
Spring For Hadoop学习笔记（3）
绑spring跑Hadoop的案例已经跑成功，下面贴个代码。 CountMapper.java: CountReducer.java: import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import原创 2015-05-23 13:53:27 · 419 阅读 · 0 评论 -
Spring For Hadoop学习笔记（2）
下面来配置一个hadoop作业的参数，同配置hadoop环境参数相似。 <hdp:job id="mr-job" input-path="/input/" output-path="/ouput/" mapper="org.apache.hadoop.examples.WordCount.TokenizerMapper" reducer="org.apache.hadoop.exam原创 2015-05-20 16:36:03 · 520 阅读 · 0 评论