hadoop集群生态的搭建
文章平均质量分 54
A NIHUAN
这个作者很懒,什么都没留下…
展开
-
初识MR 初识YARN 初识ZooKeeper
学习目标: 初识MR 初识YARN 初始ZooKeeper 学习内容: MR(MapReduce) 什么是MR 一个并行计算框架,将一个大文件拆分成一个个小任务,使执行更加效率。适合于大数据计算 MR的执行过程 a. 当用户输入计算任务时,MR会将任务分成一个个小的任务块,(一般情况下map所处理的文件都在HDFS本地,原因是为了减少网络间的传送) b.将每个任务块分给不同的map任务,开始运行Map 进行一次次的迭代,每迭代一次,创建一个key/value对原创 2021-04-24 20:39:14 · 272 阅读 · 0 评论 -
完整版搭建hadoop集群
学习目标: 完整版搭建hadoop集群(在三台机器上搭建) 搭建HDFS系统 在root用户下 搭建Hadoop(版本号 Hadoop3.2.1)环境依赖: 需要三台主机实现ssh免密 .实现三台主机时钟同步 需要设置java环境并为其配置环境变量 需要三台linux主机,编号为 001,002,003 需要Hadoop安装包(3.2.1版本) 操作步骤: 1.实现三台主机ssh免密(三台主机共用一套ssh密钥) 首先机器上需要有ssh服务,如果没有,使用 yum -y install原创 2021-04-18 21:41:35 · 2334 阅读 · 0 评论 -
搭建单机版 Hadoop集群
Hadoop集群的搭建(单机版) 学习目标: 了解大数据的特点 在centos7中搭建一个单机版的Hadoop集群 学习内容: 提示:这里可以添加要学的内容 例如: 1、 搭建 Java 开发环境 2、 掌握 Java 基本语法 3、 掌握条件语句 4、 掌握循环语句 学习时间: 2021.4.13 学习产出: 大数据特点 : a. 多样性 a. 大量 a. 高速 a. 价值密度低 a. 真实性 Hadoop起源(有谷歌的收费软件发展而来) : GFS(Go原创 2021-04-14 08:33:30 · 265 阅读 · 0 评论