目录:
一、hadoop概念:
1.hadoop是什么
2.hadoop发展历史
3.hadoop三大发行版本
4.hadoop的优势
5.hadoop的组成
6.HDFS、TARN、MapReduce架构概述
二、Hadoop运行环境搭建
1.VMware安装
2.Centos7.5软硬件安装
3.IP地址配置
4.远程连接
学习内容:
一、Hadoop概念:
1.hadoop是什么:
1)hadoop是一个由apache基金会所开发的分布式系统基础架构。
2)主要解决,海量数据的储存和海量数据的分析计算问题。
3)广义来说,hadoop通常是指一个更广泛的概念——hadoop生态圈。
2.hadoop发展历史:
hadoop的创始人是DougCutting。
3.hadoop三大发行版本:
Apache、Cloudera、Hertonworks。(了解)
4.hadoop的优势:
1.高可靠性 2.高扩展性 3.高效性 4. 高容错性。
5.hadoop的组成:
1)Hadoop1.x组成:1、MapReduce(计算+资源调度)2、HDFS (数据储存)3、Common(辅助工具)。
2)Hadoop2.x组成:1、MapReduce(计算)2、YaYn(资源调度) 3、HDFS (数据储存)4、Common(辅助工具)。
3)Hadoop3.x组成:在组成上与Hadoop2.x没有变化。
6.HDFS、TARN、MapReduce架构概述:
HDFS架构概述:
1)NameNode(nn):储存文件的元数据,如:文件名、文件目录结构、文件属性(生成时间、副本数文件权限),以及每个文件的块列表和块所在的DataNode等。
2)DataNode(dn):在本地系统储存文件块数据,以及块数据的校验和。
3)Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份。
TARN架构概述:
1)ResourceManager(RM):整个集群资源(内存,cpu等)的老大。
2)NodeManager(NM):单个节点服务器资源的老大。
3)ApplicationMaster(AM):单个任务运行的老大。
4)Container:容器,相当一台独立的服务器,里面封装了任务运行所需要的资源。
注:1.客户端可以有多个。2.集群上可以运行多个ApplicationMaster。3.每个NodeManager上可以有多个container。
MapReduce 架构概述:
MapReduce将计算分为两个阶段:Map和Reduce。
1)Map阶段并行处理输入数据。
2)Reduce阶段对map结果进行汇总。
二、Hadoop运行环境搭建:
1.VMware安装:位置一般改为D盘。(注册码可以去百度搜)。
2.Centos7.5软硬件安装:打开虚拟机>创建虚拟机>选择自定义>下一步>下一步>随后安装操作系统>下一步>linux(版本:centos7)>名称和位置>下一步>2、2、4>下一步>下一步>下一步*5>磁盘大小最好为50g>下一步>缓存位置改为d盘>完成 。安装操作系统>cd>使用映像文件(浏览操作系统文件的位置)>确定>开启虚拟机>语言选择中文>继续>设置日期和时间>软件选择(选择桌面版更友好一点)>安装位置(我要分配>添加磁盘>/boot(输入1g)文件系统改成ext4)>+>swap(4g))>接受并更改>网络和主机名称>开始安装>接受协议>完成配置>前进*3>位置输入上海>创建一个用户名。
3.IP地址配置:打开VMware>编辑>虚拟网络编辑器>选择VMnote8>更改设置>再次点击VMnote8>子网配置为192.168.10.0>NOT设置(19.168.10.2)>确定>确定。自己的电脑,打开网络共享中心>更改适配器>VMwarenote8属性>Inter协议版本4>确定>
>进入虚拟机>右键打开终端>>输入su root回车>输入密码(输入的时候电脑不会显示,输入完回车就好)>vim /etc/sysconfig/network-scripts/ifcfg-ens33(注意:vim后面有空格)>
>输入完后按shift+z+z保存退出。>vim /etc/hosts>按o插入>
>shift+z+z>ll回车>reboot(重启)。重启后用root账号登陆>打开终端>ifconfig>ping www.baidu.com>hostname。能ping通和显示主机名称就说明配置完成了。
4.远程连接:安装Xshell和Xftp,下载链接: 家庭/学校免费 - NetSarang Website。打开Xshell,新建链接>名称和主机改为:192.168.10.100>用户身份验证>用自己虚拟机账号登陆>点击确定>选择它,右键打开>接受并保存>hostname>ifconfig。修改windows的主机映射文件,找到c:\windows\System32\drivers\ets>复制hosts文件到桌面打开在最后插入
>打开Xshell>右键新建一个会话>主机和名称为hadoop100>用户身份验证>用自己虚拟机账号登陆>点击确定>选择它,右键打开>接受并保存>hostname>ifconfig。
今日份学习笔记: