Hadoop从入门到入土（第一天）

目录：

一、hadoop概念：

        1.hadoop是什么

        2.hadoop发展历史

        3.hadoop三大发行版本

        4.hadoop的优势

        5.hadoop的组成

        6.HDFS、TARN、MapReduce架构概述

二、Hadoop运行环境搭建

        1.VMware安装

        2.Centos7.5软硬件安装

        3.IP地址配置

        4.远程连接

---

学习内容：

一、Hadoop概念：

        1.hadoop是什么：

                1）hadoop是一个由apache基金会所开发的分布式系统基础架构。

                2）主要解决，海量数据的储存和海量数据的分析计算问题。

                3）广义来说，hadoop通常是指一个更广泛的概念——hadoop生态圈。

        2.hadoop发展历史：

                hadoop的创始人是DougCutting。

        3.hadoop三大发行版本：

                Apache、Cloudera、Hertonworks。（了解）

        4.hadoop的优势：

                1.高可靠性 2.高扩展性 3.高效性 4. 高容错性。

        5.hadoop的组成：

                1）Hadoop1.x组成：1、MapReduce(计算+资源调度）2、HDFS (数据储存)3、Common(辅助工具)。

                2）Hadoop2.x组成：1、MapReduce(计算）2、YaYn(资源调度) 3、HDFS (数据储存)4、Common(辅助工具)。

                3）Hadoop3.x组成：在组成上与Hadoop2.x没有变化。

        6.HDFS、TARN、MapReduce架构概述：

             HDFS架构概述：

                1）NameNode(nn)：储存文件的元数据，如：文件名、文件目录结构、文件属性（生成时间、副本数文件权限），以及每个文件的块列表和块所在的DataNode等。

                2）DataNode(dn)：在本地系统储存文件块数据，以及块数据的校验和。

                3）Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

            TARN架构概述：

                1）ResourceManager(RM)：整个集群资源（内存，cpu等）的老大。

                2）NodeManager(NM)：单个节点服务器资源的老大。

                3）ApplicationMaster(AM)：单个任务运行的老大。

                4）Container：容器，相当一台独立的服务器，里面封装了任务运行所需要的资源。

              注：1.客户端可以有多个。2.集群上可以运行多个ApplicationMaster。3.每个NodeManager上可以有多个container。

           MapReduce 架构概述：

                MapReduce将计算分为两个阶段：Map和Reduce。

                1）Map阶段并行处理输入数据。

                2）Reduce阶段对map结果进行汇总。

二、Hadoop运行环境搭建：

        1.VMware安装：位置一般改为D盘。（注册码可以去百度搜）。

        2.Centos7.5软硬件安装：打开虚拟机>创建虚拟机>选择自定义>下一步>下一步>随后安装操作系统>下一步>linux(版本：centos7)>名称和位置>下一步>2、2、4>下一步>下一步>下一步*5>磁盘大小最好为50g>下一步>缓存位置改为d盘>完成 。安装操作系统>cd>使用映像文件(浏览操作系统文件的位置）>确定>开启虚拟机>语言选择中文>继续>设置日期和时间>软件选择(选择桌面版更友好一点)>安装位置(我要分配>添加磁盘>/boot(输入1g）文件系统改成ext4)>+>swap(4g)）>接受并更改>网络和主机名称>开始安装>接受协议>完成配置>前进*3>位置输入上海>创建一个用户名。

        3.IP地址配置：打开VMware>编辑>虚拟网络编辑器>选择VMnote8>更改设置>再次点击VMnote8>子网配置为192.168.10.0>NOT设置(19.168.10.2)>确定>确定。自己的电脑，打开网络共享中心>更改适配器>VMwarenote8属性>Inter协议版本4>确定>

---

 >进入虚拟机>右键打开终端>>输入su  root回车>输入密码（输入的时候电脑不会显示，输入完回车就好）>vim /etc/sysconfig/network-scripts/ifcfg-ens33(注意：vim后面有空格）>

 >输入完后按shift+z+z保存退出。>vim /etc/hosts>按o插入>

>shift+z+z>ll回车>reboot（重启）。重启后用root账号登陆>打开终端>ifconfig>ping www.baidu.com>hostname。能ping通和显示主机名称就说明配置完成了。

        4.远程连接：安装Xshell和Xftp,下载链接： 家庭/学校免费 - NetSarang Website。打开Xshell,新建链接>名称和主机改为：192.168.10.100>用户身份验证>用自己虚拟机账号登陆>点击确定>选择它，右键打开>接受并保存>hostname>ifconfig。修改windows的主机映射文件，找到c:\windows\System32\drivers\ets>复制hosts文件到桌面打开在最后插入

 >打开Xshell>右键新建一个会话>主机和名称为hadoop100>用户身份验证>用自己虚拟机账号登陆>点击确定>选择它，右键打开>接受并保存>hostname>ifconfig。

今日份学习笔记：