Hadoop运行环境搭建

1环境搭建

基本配置:centos6.5
主机内存:16g
虚拟机版本:12pro

1.1 虚拟机网络模式设置为NAT

在这里插入图片描述
在这里插入图片描述
最后,重新启动系统。

[root@hadoop101 ~]# sync
[root@hadoop101 ~]# reboot

1.2 克隆虚拟机

1)克隆虚拟机

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2)启动虚拟机

1.3 修改为静态ip

1)在终端命令窗口中输入
[root@hadoop101 /]#vim /etc/udev/rules.d/70-persistent-net.rules
进入如下页面,删除eth0该行;将eth1修改为eth0,同时复制物理ip地址
在这里插入图片描述
2)修改IP地址
[root@hadoop101 /]#vim /etc/sysconfig/network-scripts/ifcfg-eth0
需要修改的内容有5项:
IPADDR=192.168.1.101
GATEWAY=192.168.1.2
ONBOOT=yes
BOOTPROTO=static
DNS1=192.168.1.2
(1)修改前
在这里插入图片描述
(2)修改后
在这里插入图片描述
:wq 保存退出
3)执行service network restart
在这里插入图片描述
4)如果报错,reboot,重启虚拟机

1.4 修改主机名

1)修改linux的hosts文件
(1)进入Linux系统查看本机的主机名。通过hostname命令查看
[root@hadoop ~]# hostname
hadoop100
(2)如果感觉此主机名不合适,我们可以进行修改。通过编辑/etc/sysconfig/network文件
#vi /etc/sysconfig/network

文件中内容
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= hadoop101
注意:主机名称不要有“_”下划线
(3)打开此文件后,可以看到主机名。修改此主机名为我们想要修改的主机名hadoop101。
(4)保存退出。
(5)打开/etc/hosts
vim /etc/hosts
添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
192.168.1.110 hadoop110
(6)并重启设备,重启后,查看主机名,已经修改成功
2)修改window7的hosts文件
(1)进入C:\Windows\System32\drivers\etc路径
(2)打开hosts文件并添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
192.168.1.110 hadoop110

1.5 关闭防火墙

1)查看防火墙开机启动状态
chkconfig iptables --list
2)关闭防火墙
chkconfig iptables off

1.6 在opt目录下创建文件

1)创建atguigu用户
在root用户里面执行如下操作
[root@hadoop101 opt]# adduser atguigu
[root@hadoop101 opt]# passwd atguigu
更改用户 test 的密码 。
新的 密码:
无效的密码: 它没有包含足够的不同字符
无效的密码: 是回文
重新输入新的 密码:
passwd: 所有的身份验证令牌已经成功更新。
2)设置atguigu用户具有root权限

  • 修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示: ##Allow root to run any commands anywhere
  • root ALL=(ALL) ALL
  • atguigu ALL=(ALL) ALL
  • 修改完毕,现在可以用atguigu帐号登录,然后用命令 su - ,可获得root权限进行操作。

3)在/opt目录下创建文件夹
(1)在root用户下创建module、software文件夹
mkdir module
mkdir software
(2)修改module、software文件夹的所有者
[root@hadoop101 opt]# chown atguigu module
[root@hadoop101 opt]# chown atguigu software
[root@hadoop101 opt]# ls -al
总用量 24
drwxr-xr-x. 6 root root 4096 4月 24 09:07 .
dr-xr-xr-x. 23 root root 4096 4月 24 08:52 …
drwxr-xr-x. 4 atguigu root 4096 4月 23 16:26 module
drwxr-xr-x. 2 root root 4096 3月 26 2015 rh
drwxr-xr-x. 2 atguigu root 4096 4月 23 16:25 software

1.7 安装jdk

1)卸载现有jdk
(1)查询是否安装java软件:
rpm -qa|grep java
(2)如果安装的版本低于1.7,卸载该jdk:
rpm -e 软件包
2)用filezilla工具将jdk、Hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
在这里插入图片描述
3)在linux系统下的opt目录中查看软件包是否导入成功。
[root@hadoop101opt]# cd software/
[root@hadoop101software]# ls
jdk-7u79-linux-x64.gz hadoop-2.7.2.tar.gz
4)解压jdk到/opt/module目录下
tar -zxf jdk-7u79-linux-x64.gz -C /opt/module/
5)配置jdk环境变量
(1)先获取jdk路径:
[root@hadoop101 jdk1.7.0_79]# pwd
/opt/module/jdk1.7.0_79
(2)打开/etc/profile文件:
[root@hadoop101 jdk1.7.0_79]# vi /etc/profile
在profie文件末尾添加jdk路径:
##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.7.0_79
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
(3)保存后退出:
:wq
(4)让修改后的文件生效:
[root@hadoop101 jdk1.7.0_79]# source /etc/profile
(5)重启(如果java –version可以用就不用重启):
[root@hadoop101 jdk1.7.0_79]# sync
[root@hadoop101 jdk1.7.0_79]# reboot
6)测试jdk安装成功
[root@hadoop101 jdk1.7.0_79]# java -version
java version “1.7.0_79”

1.8 安装Hadoop

1)进入到Hadoop安装包路径下:
[root@hadoop101 ~]# cd /opt/software/
2)解压安装文件到/opt/module下面
[root@hadoop101 software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/
3)查看是否解压成功
[root@hadoop101 software]# ls /opt/module/
hadoop-2.7.2
4)配置hadoop中的hadoop-env.sh
(1)Linux系统中获取jdk的安装路径:
[root@hadoop101 jdk1.7.0_79]# echo KaTeX parse error: Expected 'EOF', got '#' at position 176: …1 hadoop-2.7.2]#̲ pwd /opt/modul…PATH: H A D O O P H O M E / b i n e x p o r t P A T H = HADOOP_HOME/bin export PATH= HADOOPHOME/binexportPATH=PATH:$HADOOP_HOME/sbin
(3)保存后退出:
:wq
(4)让修改后的文件生效:
root@ hadoop101 hadoop-2.7.2]# source /etc/profile
(5)重启(如果hadoop命令不能用再重启):
root@ hadoop101 hadoop-2.7.2]# sync
root@ hadoop101 hadoop-2.7.2]# reboot

2 Hadoop运行模式

1)官方网址

(1)官方网站:
http://hadoop.apache.org/
(2)各个版本归档库地址
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
(3)hadoop2.7.2版本详情介绍
http://hadoop.apache.org/docs/r2.7.2/

2)Hadoop运行模式

(1)本地模式(默认模式):
不需要启用单独进程,直接可以运行,测试和开发时使用。
(2)伪分布式模式:
等同于完全分布式,只有一个节点。
(3)完全分布式模式:
多个节点一起运行。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值