![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习
文章平均质量分 89
Moises_RC
这个作者很懒,什么都没留下…
展开
-
学习笔记_虚拟机下的Linux安装、环境配置、VMware Tool安装与虚拟机克隆
本次安装使用VMware,CentOS-6.4镜像文件本次学习中需安装3台虚拟机,为方便后期操作,分别命名为master,slave01,slave02.其中均创建普通用户hadoop原创 2018-08-19 14:10:01 · 256 阅读 · 0 评论 -
学习笔记_Hadoop入门
Hadoop简介Hadoop是一个可靠的、可扩展的、开源的、高可用的分布式并行计算框架主要模块Hadoop Common:为其他Hadoop模块提供基础设施 Hadoop HDFS:一个高可靠的、高吞吐量的分布式文件存储系统 Hadoop MapReduce:一个分布式的离线并行计算框架 Hadoop YARN:一个新的MapReduce框架,负责MapReduce任...原创 2018-08-26 18:00:07 · 299 阅读 · 0 评论 -
学习笔记_Hadoop伪分布式搭建
伪分布式环境准备1.网卡IP设置为静态(NAT模式)修改网卡配置# vi /etc/sysconfig/network-scripts/ifcfg-eth02.重启网络服务# service network restart3.修改主机名这里我使用主机名为master# vi /etc/sysconfig/network4.关闭防火墙关闭防火...原创 2018-08-30 16:44:32 · 290 阅读 · 0 评论 -
学习笔记_Hadoop完全分布式搭建
集群规划 主机 master slave01 slave02 hdfs NameNode - SecondaryNameNode DataNode DataNode DataNode historyserver - - yarn - - ResourceManager Nod...原创 2018-08-30 19:52:02 · 224 阅读 · 0 评论 -
学习笔记_MapReduce与Shuffle
MapReduce运行详解MapReduce是Hadoop中的分布式离线并行计算框架,主要负责批量处理数据,这里将对MapReduce的运行过程进行解释MapReduce在运行任务时会产生Map Task和Reduce Task两个进程,可分为Map、Shuffle和Reduce三个阶段Map每个map接收传来的一个split,格式为< key,value >,其...原创 2018-09-06 19:16:52 · 147 阅读 · 0 评论