hadoop安装及配置

1、概述

CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

1. linux下vi及vim的使用

   参考网站：https://www.runoob.com/linux/linux-vim.html

1.4 Linux 文件与目录管理

参考https://www.runoob.com/linux/linux-file-content-manage.html

请自行查阅

文件下载

2.1 Cloudera Manager

地址：[http://archive.cloudera.com/cm5/cm/5/]{.underline}

根据课本使用的cdh的版本使用5.14.2版本，后面会给出最新的6.3.0版本的安装教程，

这里下载的是5.14.2的版本，

https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz

2.2 CDH安装包

地址：http://archive.cloudera.com/cdh5/parcels

本文基于CentOS7，下载的parcels包及manifest文件对应的版本为el7，如果centos6，就用el6：

CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel

CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1

manifest.json

下载连接https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2.tar.gz

2.3 jdk的下载 {#jdk的下载 .ListParagraph}

根据操作系统的

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载的时候oracle需要有个账号登录，可以注册，根据自己的电脑的情况下载32位或者64位，例如64位可以下载：

也可以下载rpm版本的，直接安装。但是很多时候为了能够完全控制jdk的安装位置以及其他参数的设置，开发人员往往喜欢使用tgz版本的，自行解压缩进行安装。

CDH和所支持的JDK的关系如下图所示：

3、系统环境搭建

3.1 登录系统

打开虚拟机以后出现如下界面：

在login：后面输入用户名，本例是创建了hadoop账号，所以使用hadoop登录

用鼠标点击虚拟机的客户机区域（黑色部分）或者按shift+g切换焦点到虚拟机，输入yshum;hadoop然后回车，然后输入密码，注意密码不会出现*占位符，输入密码以后回车

如果密码输入正确出现登录成功

出现上图即表示登陆成功

3.2 添加用户到sudoer列表中

在终端中，如果命令提示符是$则表示当前登录用户是普通用户，那么没有办法进行系统的安装维护等工作，如图所示：，进行添加sudoer的时候需要su为root用户，命令为su root，回车后输入root的密码，如图所示：

当命令提示符由$变为#以后表示由普通用户变成了root用户（root用户类似于windows系统的管理员administrator）

进行系统操作完成以后想变回普通用户的时候，输入命令exit可以变为普通用户

Linux默认是没有将用户添加到sudoers列表中的，需要root手动将账户添加到sudoers列表中，才能让普通账户执行sudo命令。

root 账户键入visudo即可进入sudo配置，这个命令要比vim /etc/sudoers要好很多，因为使用visudo进行sudo配置，将会得到很多提示、键入visudo后，在编辑器下键入 /root 寻找root，找到第三个root的那一行（按下按键n可以寻找下一个）

root ALL=(ALL) ALL

按yyp键复制并在粘贴在下一行，在这一行的 root处输入cw将root替换为你所需要添加用户的账户名，比如hadoop，结果就是

root ALL=(ALL) ALL

hadoop ALL=(ALL) ALL

如果你希望之后执行sudo命令时不需要输入密码，那么可以形如

root ALL=(ALL) ALL

hadoop ALL=(ALL) NOPASSWD:ALL

输入:wq保存即可。

之后执行sudo命令时直接在命令前端键入sudo 空格即可，比如sudo shutdown -h now执行立即关机命令.

如果需要输入口令，则输入用户密码即可，而不是root密码.

注：如果用户不在sudoers列表中，将会得到以下提示.

Hadop is not in the sudoers file. This incident will be reported.

3.3 查看本机的IP

为什么需要查看本机IP呢？主要是用于后面的系统配置，所以需要准备

在centos下面可以使用 ip addr来查看

上图中的192.168.128.131就是我们需要的IP地址，后面的/24表示子网掩码是24位的意思，这个可以不管它。

3.4 使用xftp上传jdk和hadoop