- 博客(5)
- 收藏
- 关注
RSS订阅原创 学习笔记_MapReduce与Shuffle
MapReduce运行详解 MapReduce是Hadoop中的分布式离线并行计算框架，主要负责批量处理数据，这里将对MapReduce的运行过程进行解释 MapReduce在运行任务时会产生Map Task和Reduce Task两个进程，可分为Map、Shuffle和Reduce三个阶段 Map 每个map接收传来的一个split，格式为< key，value >，其...
2018-09-06 19:16:52
159
原创 学习笔记_Hadoop完全分布式搭建
集群规划 主机 master slave01 slave02 hdfs NameNode - SecondaryNameNode DataNode DataNode DataNode historyserver - - yarn - - ResourceManager Nod...
2018-08-30 19:52:02
251
原创 学习笔记_Hadoop伪分布式搭建
伪分布式 环境准备 1.网卡IP设置为静态（NAT模式） 修改网卡配置 # vi /etc/sysconfig/network-scripts/ifcfg-eth0 2.重启网络服务 # service network restart 3.修改主机名 这里我使用主机名为master # vi /etc/sysconfig/network 4.关闭防火墙 关闭防火...
2018-08-30 16:44:32
315
原创 学习笔记_Hadoop入门
Hadoop 简介 Hadoop是一个可靠的、可扩展的、开源的、高可用的分布式并行计算框架 主要模块 Hadoop Common:为其他Hadoop模块提供基础设施 Hadoop HDFS:一个高可靠的、高吞吐量的分布式文件存储系统 Hadoop MapReduce:一个分布式的离线并行计算框架 Hadoop YARN：一个新的MapReduce框架，负责MapReduce任...
2018-08-26 18:00:07
315
原创 学习笔记_虚拟机下的Linux安装、环境配置、VMware Tool安装与虚拟机克隆
本次安装使用VMware,CentOS-6.4镜像文件 本次学习中需安装3台虚拟机,为方便后期操作,分别命名为master,slave01,slave02.其中均创建普通用户hadoop
2018-08-19 14:10:01
269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人