hadoop 不在 sudoers 文件中。此事将被报告_大数据技术之Hadoop(入门)第3章 Hadoop运行环境搭建(重点)

2fde3800e8d3c29338380512a8d47f68.png

大数据技术之Hadoop(入门)第3章 Hadoop运行环境搭建大纲

3.1 虚拟机环境准备

3.1.1 克隆虚拟机

第一步:提前预备好虚拟主机

c4fcd96b6c5c8b40e50870b0f3b7817d.png

创建完整克隆

f5b89dbcc54bbd6700c1ff0415a93c50.png

修改别名和存储位置

c50102bab818b665dea0a6f34da799e0.png

启动克隆好的虚拟机

dae3f6dd10dbeedd9be0f3250051b078.png

登录虚拟机root身份

3.1.2 修改克隆虚拟机的静态IP

第一步:修改Mac地址

[root@hadoop106 ~]#vim /etc/udev/rules.d/70-persistent-net.rules
f21fb0874a16d18eed8d00aa055706da.png

修改mac地址1

eea5255a90bb3eae03dcab6f41de6ad9.png

修改mac地址2

dec8e0d8413e75559396fb2b38d5bb0d.png

第二步:修改IP地址

查看主机IP:[root@hadoop106 ~]#ifconfig
6b069f26f993f4ac08dcb81d7a48befb.png

查看主机IP

[root@hadoop106 ~]#vim /etc/sysconfig/network-scripts/ifcfg-eth0
3379aaa429c7326fb5071684c4b6cf09.png

修改主机IP

IPADDR=172.16.245.106GATEWAY=172.16.245.2DNS1=172.16.245.2

3.1.3 修改主机名

[root@hadoop106 ~]#vim /etc/sysconfig/network修改为:HOSTNAME=hadoop106
8915bfe5cb4a4265982f22ed00ed614b.png

修改主机名HostName

3.1.4 关闭防火墙

1. 永久关闭SELinux

修改配置文件

[root@localhost ~]# vi /etc/selinux/config

将 SELINUX=enforcin改为 SELINUX=disabled

10de7718e45e5ea8bf6979e5f51f5fd8.png

SeLinux修改

2.永久关闭防火墙

[root@localhost ~]# chkconfig iptables on //开启 [root@localhost ~]# chkconfig iptables off //关闭
7747eaa28c853395fb8aa1343c38c635.png

关闭防火墙

3.1.5 创建普通用户

[root@hadoop106 ~]#useradd cc[root@hadoop106 ~]#ll /home/
[root@hadoop101 ~]# passwd cc
08f749ea45c096f26de4d4aeaec7dd6a.png

创建用户cc

42843a6aad3086e49eb39c76e13d2288.png

修改密码为123456

3.1.6 配置cc用户具有root权限

[root@hadoop106 ~]#vim /etc/sudoers
ae9cc56f7632d2f492853230f64f95a2.png

修改sudoers配置

所有的修改完毕重启机器即可

[root@hadoop106 ~]#reboot

用客户端连接工具测试网络情况,可以ping通

35e30ec3b8f3edc804c982ef0333e61c.png

ping百度测试网络

因此到目前为止虚拟机克隆完全结束。

3.1.7 在/opt目录下创建文件夹

(1)在/opt目录下创建module、software文件夹

[cc@hadoop101 opt]$ sudo mkdir module[cc@hadoop101 opt]$ sudo mkdir software

(2)修改module、software文件夹的所有者cd

[cc@hadoop106 opt]$ sudo chown cc:cc module/ software/[sudo] password for cc: [cc@hadoop106 opt]$ ll总用量 8drwxr-xr-x 2 cc cc 4096 6月  22 04:45 moduledrwxr-xr-x 2 cc cc 4096 6月  22 04:45 software

3.2 安装JDK

卸载现有JDK

(1)查询是否安装Java软件:

[cc@hadoop106 opt]$ rpm -qa | grep javatzdata-java-2016c-1.el6.noarchjava-1.6.0-openjdk-1.6.0.38-1.13.10.4.el6.x86_64java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64

(2)如果安装的版本低于1.7,卸载该JDK:

[cc@hadoop106 opt]$ sudo rpm -e java-1.6.0-openjdk-1.6.0.38-1.13.10.4.el6.x86_64[cc@hadoop106 opt]$ sudo rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64[cc@hadoop106 opt]$ rpm -qa | grep javatzdata-java-2016c-1.el6.noarch[cc@hadoop106 opt]$ sudo rpm -e --nodeps tzdata-java-2016c-1.el6.noarch[cc@hadoop106 opt]$ rpm -qa | grep java[cc@hadoop106 opt]$

(3)查看JDK安装路径:

[cc@hadoop106 opt]$ which java/usr/bin/which: no java in (/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/cc/bin)

上传Java安装包:

f2d2a25335f27002891b83f674689292.png

jdk上传

在Linux系统下的opt目录中查看软件包是否导入成功

[cc@hadoop106 software]$ ll总用量 374196-rwxr-xr-x 1 cc cc 197657687 6月  22 05:10 hadoop-2.7.2.tar.gz-rwxr-xr-x 1 cc cc 185515842 6月  22 05:09 jdk-8u144-linux-x64.tar.gz

解压JDK到/opt/module目录下

[cc@hadoop106 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量

(1)先获取JDK路径

[cc@hadoop106 software]$ cd /opt/module/jdk1.8.0_144/[cc@hadoop106 jdk1.8.0_144]$ pwd/opt/module/jdk1.8.0_144

(2)打开/etc/profile文件

[cc@hadoop106 software]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_144export PATH=$PATH:$JAVA_HOME/bin

(3)保存后退出

:wq

(4)让修改后的文件生效

[cc@hadoop101 jdk1.8.0_144]$ source /etc/profile
[cc@hadoop106 jdk1.8.0_144]$ java -versionjava version "1.8.0_144"Java(TM) SE Runtime Environment (build 1.8.0_144-b01)Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

3.3 安装Hadoop

(1)Hadoop下载地址:

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

(2)用工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

7c054190f728ad90fbbdded8fe8c48c5.png

(3)进入到Hadoop安装包路径下

[cc@hadoop106 ~]$ cd /opt/software/

(3)解压安装文件到/opt/module下面

[cc@hadoop106 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

3. 查看是否解压成功

[cc@hadoop106 software]$ ls /opt/module/hadoop-2.7.2

(4)将Hadoop添加到环境变量

  • 获取Hadoop安装路径
[cc@hadoop106 hadoop-2.7.2]$ pwd/opt/module/hadoop-2.7.2
  • 打开/etc/profile文件
[cc@hadoop106 hadoop-2.7.2]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径:(shitf+g)

##HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop-2.7.2export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin
  • 保存后退出
:wq
  • 让修改后的文件生效
[cc@hadoop106 hadoop-2.7.2]$ source /etc/profile
  • 测试是否安装成功
[cc@hadoop106 hadoop-2.7.2]$ hadoop versionHadoop 2.7.2

3.4 Hadoop目录结构

3.4.1 查看Hadoop目录结构

[cc@hadoop106 hadoop-2.7.2]$ ll总用量 52drwxr-xr-x 2 cc cc  4096 5月  22 2017 bindrwxr-xr-x 3 cc cc  4096 5月  22 2017 etcdrwxr-xr-x 2 cc cc  4096 5月  22 2017 includedrwxr-xr-x 3 cc cc  4096 5月  22 2017 libdrwxr-xr-x 2 cc cc  4096 5月  22 2017 libexec-rw-r--r-- 1 cc cc 15429 5月  22 2017 LICENSE.txt-rw-r--r-- 1 cc cc   101 5月  22 2017 NOTICE.txt-rw-r--r-- 1 cc cc  1366 5月  22 2017 README.txtdrwxr-xr-x 2 cc cc  4096 5月  22 2017 sbindrwxr-xr-x 4 cc cc  4096 5月  22 2017 share[cc@hadoop106 hadoop-2.7.2]$

3.4.2 重要目录

(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本

(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件

(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)

(4)sbin目录:存放启动或停止Hadoop相关服务的脚本

(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

最后附上本章思维导图方便读者记忆

73cf9ff560e494af5e5d744d1b558005.png

Hadoop运行环境思维导图

思维导图下载链接:

链接: https://pan.baidu.com/s/1q2XHKkwujGcEjGB3bAMnGA 密码: g2h4

如果失效请私信我,在学习中遇到问题私信我。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值