![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实验
M10F
大数据进阶记
展开
-
第二部分-MapReduce程序的编写
第二部分 MapReduce程序的编写 一、实验目的和要求 理解MapReduce的工作原理,学会在Eclipse中配置Hadoop插件,进行MapReduce的编程(数据排序)。 二、实验内容和原理 Mapreduce处理数据过程主要分为2个阶段,map阶段和reduce阶段。Map阶段进行取值,Reduce接收到的数据已经是有序的,Reduce需要计数。 在正式执行map函数前,需要对输入进行...原创 2019-03-30 15:02:50 · 1010 阅读 · 0 评论 -
第三部分-Hadoop使用和Hbase使用
第三部分:Hadoop使用和Hbase使用 一、实验目的和要求 理解Hadoop和Hbase的工作原理,安装部署HBase,掌握HDFS文件系统和Hbase的操作命令。 二、实验内容和原理 Hadoop文件系统: HDFS,是Hadoop Distributed File System的简称,是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成,甚...原创 2019-03-30 15:32:04 · 835 阅读 · 0 评论 -
第一部分-Hadoop集群搭建
该部分是实验整理,一共三部分内容 1、Hadoop集群搭建 2、MapReduce程序的编写 3、Hadoop使用和Hbase使用 第一部分:Hadoop集群搭建 一、实验目的和要求 掌握Hadoop的安装过程,完成Linux系统配置,启动Hadoop集群。 二、实验内容和原理 在Hadoop部署中,有三种服务器角色,他们分别是客户端、Masters节点以及Slave 节点。Master 节点,M...原创 2019-03-29 13:09:07 · 377 阅读 · 0 评论