Hadoop运行环境搭建

最新推荐文章于 2023-03-07 16:15:49 发布
最新推荐文章于 2023-03-07 16:15:49 发布
阅读量1.5k 收藏 4
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011702633/article/details/84316444
版权

目录

Hadoop运行环境搭建

虚拟机网络模式设置为NAT

在这里插入图片描述
在这里插入图片描述

最后，重新启动系统。
[root@hadoop101 ~]# sync
[root@hadoop101 ~]# reboot

克隆虚拟机

  1. 克隆虚拟机
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述在这里插入图片描述在这里插入图片描述
    2.启动虚拟机

修改为静态ip

  • 在终端命令窗口中输入

[root@hadoop101 /]#vim /etc/udev/rules.d/70-persistent-net.rules
进入如下页面，删除eth0该行；将eth1修改为eth0，同时复制物理ip地址
在这里插入图片描述

  • 修改IP地址

[root@hadoop101 /]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
需要修改的内容有5项：
IPADDR=192.168.1.101
GATEWAY=192.168.1.2
ONBOOT=yes
BOOTPROTO=static
DNS1=192.168.1.2

（1）修改前
在这里插入图片描述
（2）修改后
在这里插入图片描述
：wq 保存退出
3）执行
[root@hadoop101 /]# service network restart
在这里插入图片描述
4）如果报错，reboot，重启虚拟机。
[root@hadoop101 /]# reboot

修改主机名

1）修改linux的hosts文件

（1）进入Linux系统查看本机的主机名。通过hostname命令查看。
[root@hadoop100 /]# hostname
hadoop100
2）如果感觉此主机名不合适，我们可以进行修改。通过编辑/etc/sysconfig/network文件。
[root@hadoop100~]# vi /etc/sysconfig/network
修改文件中主机名称
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= hadoop101
注意：主机名称不要有“_”下划线
（3）打开此文件后，可以看到主机名。修改此主机名为我们想要修改的主机名hadoop101。
（4）保存退出。
（5）打开/etc/hosts
[root@hadoop100 ~]# vim /etc/hosts
添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
192.168.1.110 hadoop110

（6）并重启设备，重启后，查看主机名，已经修改成功

2）修改window7的hosts文件

（1）进入C:\Windows\System32\drivers\etc路径
（2）打开hosts文件并添加如下内容>
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
192.168.1.110 hadoop110

关闭防火墙

1）查看防火墙开机启动状态
[root@hadoop101 ~]# chkconfig iptables --list
2）关闭防火墙
[root@hadoop101 ~]# chkconfig iptables off

在opt目录下创建文件

1）创建atguigu用户
在root用户里面执行如下操作
[root@hadoop101 opt]# adduser atguigu
[root@hadoop101 opt]# passwd atguigu
更改用户 test 的密码 。
新的 密码：
无效的密码： 它没有包含足够的不同字符
无效的密码： 是回文
重新输入新的 密码：
passwd： 所有的身份验证令牌已经成功更新。

2）设置atguigu用户具有root权限
修改 /etc/sudoers 文件，找到下面一行，在root下面添加一行，如下所示：
[root@hadoop101 atguigu]# vi /etc/sudoers
##Allow root to run any commands anywhere
root ALL=(ALL) ALL
atguigu ALL=(ALL) ALL
修改完毕，现在可以用atguigu帐号登录，然后用命令 su - ，即可获得root权限进行操作。
3）在/opt目录下创建文件夹
（1）在root用户下创建module、software文件夹
[root@hadoop101 opt]# mkdir module
[root@hadoop101 opt]# mkdir software
（2）修改module、software文件夹的所有者
[root@hadoop101 opt]# chown atguigu:atguigu module
[root@hadoop101 opt]# chown atguigu:atguigu sofrware
[root@hadoop101 opt]# ls -al
总用量 16
drwxr-xr-x. 6 root root 4096 4月 24 09:07 .
dr-xr-xr-x. 23 root root 4096 4月 24 08:52 …
drwxr-xr-x. 4 atguigu atguigu 4096 4月 23 16:26 module
drwxr-xr-x. 2 atguigu atguigu 4096 4月 23 16:25 software

安装jdk

1）卸载现有jdk

（1）查询是否安装java软件：
[root@hadoop101 opt]# rpm -qa|grep java
（2）如果安装的版本低于1.7，卸载该jdk：
[root@hadoop101 opt]# rpm -e 软件包

2）用SecureCRT工具将jdk、Hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

这里是引用在这里插入图片描述

3）在linux系统下的opt目录中查看软件包是否导入成功。

[root@hadoop101opt]# cd software/
[root@hadoop101software]# ls
hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz

4）解压jdk到/opt/module目录下

[root@hadoop101software]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5）配置jdk环境变量

（1）先获取jdk路径：
[root@hadoop101 jdk1.8.0_144]# pwd
/opt/module/jdk1.8.0_144
（2）打开/etc/profile文件：
[root@hadoop101 jdk1.8.0_144]# vi /etc/profile
在profie文件末尾添加jdk路径：
##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
（3）保存后退出：:wq
（4）让修改后的文件生效：
[root@hadoop101 jdk1.8.0_144]# source /etc/profile
（5）重启（如果java -version可以用就不用重启）：
[root@hadoop101 jdk1.8.0_144]# sync
[root@hadoop101 jdk1.8.0_144]# reboot

6）测试jdk安装成功

[root@hadoop101 jdk1.8.0_144]# java -version
java version “1.8.0_144”

安装Hadoop

1）进入到Hadoop安装包路径下：
[root@hadoop101 ~]# cd /opt/software/
2）解压安装文件到/opt/module下面
[root@hadoop101 software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/
3）查看是否解压成功
[root@hadoop101 software]# ls /opt/module/
hadoop-2.7.2
4）在/opt/module/hadoop-2.7.2/etc/hadoop路径下配置hadoop-env.sh

（1）Linux系统中获取jdk的安装路径：
[root@hadoop101 jdk1.8.0_144]# echo $JAVA_HOME
/opt/module/jdk1.8.0_144
（2）修改hadoop-env.sh文件中JAVA_HOME 路径：
[root@hadoop101 hadoop]# vi hadoop-env.sh
修改JAVA_HOME如下
export JAVA_HOME=/opt/module/jdk1.8.0_144

5）将hadoop添加到环境变量

（1）获取hadoop安装路径：
[root@ hadoop101 hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
（2）打开/etc/profile文件：
[root@ hadoop101 hadoop-2.7.2]# vi /etc/profile
在profie文件末尾添加jdk路径：（shitf+g）
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
（3）保存后退出：:wq
（4）让修改后的文件生效：
[root@ hadoop101 hadoop-2.7.2]# source /etc/profile
（5）重启(如果hadoop命令不能用再重启)：
[root@ hadoop101 hadoop-2.7.2]# sync
[root@ hadoop101 hadoop-2.7.2]# reboot
6）修改/opt目录下的所有文件所有者为atguigu
[root@hadoop101 opt]# chown atguigu:atguigu -R /opt/
7）切换到atguigu用户
[root@hadoop101 opt]# su atguigu

Hadoop运行模式

本地运行Hadoop 案例

官方grep案例

1）创建在hadoop-2.7.2文件下面创建一个input文件夹
[atguigu@hadoop101 hadoop-2.7.2] ‘ m k d i r i n p u t ‘ 2 ） 将 h a d o o p 的 x m l 配 置 文 件 复 制 到 i n p u t [ a t g u i g u @ h a d o o p 101 h a d o o p − 2.7.2 ] `mkdir input` 2）将hadoop的xml配置文件复制到input [atguigu@hadoop101 hadoop-2.7.2] ‘mkdirinput‘2）将hadoop的xml配置文件复制到input[atguigu@hadoop101hadoop−2.7.2]cp etc/hadoop/*.xml input
3）执行share目录下的mapreduce程序
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
4）查看输出结果
[atguigu@hadoop101 hadoop-2.7.2]$ cat output/*

官方wordcount案例

1）创建在hadoop-2.7.2文件下面创建一个wcinput文件夹
[atguigu@hadoop101 hadoop-2.7.2] ‘ m k d i r w c i n p u t ‘ 2 ） 在 w c i n p

最低0.47元/天 解锁文章
靛蓝忆
关注
专栏目录
hadoop运行环境搭建
a512625100的博客
04-18 233
1.1模板虚拟机环境准备 1）准备一台模板虚拟机bigdata（这是虚拟机名字，自己随便起），虚拟机配置要求如下： 注：本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明 模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备 [root@bigdata~]# yum install -y epel-release [root@bigdata~]# yum install -y psmisc nc net-tools rsy...
大数据应用之Hadoop环境安装与配置完全解析
最新发布
sinat_30844883的博客
07-21 1340
Hadoop是apache公司开源的一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它具有高可靠、高扩展、高效与高容错等特点，是大数据分析与应用的必备技术。
Hadoop Hadoop运行环境搭建
sjjsaaaa的博客
05-15 487
Hadoop运行环境搭建 Linux虚拟机安装请看：https://blog.csdn.net/sjjsaaaa/article/details/105756559 主机规划： 一、虚拟机环境准备 1. 克隆虚拟机 先选定要克隆的机器zaz01------菜单栏上的虚拟机------管理-------克隆 虚拟机的名字自己取，点完成即可，这样虚拟机就克隆好了。 2.修改主机名 打开虚拟机以后先root 然后执行：vi /etc/sysconfig/network 命令 将HOSTNAME=
3_尚硅谷大数据之Hadoop运行环境搭建1
08-04
（2）修改 module、software 文件夹的所有者 （1）查询是否安装 java 软件： （2）如果安装的版本低于 1.7，卸载该 jdk： （1）先获
详解Hadoop 运行环境搭建过程
10-16
主要介绍了Hadoop 运行环境搭建过程，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
6-大数据技术之Hadoop运行环境搭建（重点）
12-15
6_大数据技术之Hadoop运行环境搭建（重点）
Hadoop之运行环境搭建
Si_kenn的博客
12-15 142
5.Hadoop运行环境搭建 登录账户 关闭防火墙 修改IP 修改主机名 配置hosts文件,将需要搭建集群的主机全部配置到hosts文件中 配置ssh免密登录 生成公钥和私钥 ssh-keygen -t rsa 将公钥拷贝到需要免密登录的服务器上 安装JDK 安装Zookeeper 安装Hadoop 配置集群 core-site.xml hadoop-env.sh hdfs-site.xml yarn-env.sh yarn-site.xml mapred-env.sh mapred-site.
Hadoop 运行环境搭建
weixin_60096751的博客
03-07 168
Hadoop 运行环境搭建模板虚拟机环境
Hadoop 之运行环境搭建
const_
08-10 563
1、虚拟机环境准备 准备三台Linux虚拟机系统 修改主机名 关闭防火墙 创建一个普通用户并具有ROOT权限 在/opt目录下创建文件夹 （1）在/opt目录下创建module、software文件夹 $ sudo mkdir /opt/module $ sudo mkdir /opt/software （2）修改module、software文件夹的所有者 $ sudo chown nod...
伪分布式配置历史服务器
翁老师的教学团队
03-08 397
伪分布式配置历史服务器 1 配置历史服务器 如果没有配置历史服务器，则不能查看程序运行的历史记录。 为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下： 1.配置mapred-site.xml vim mapred-site.xml 或者使用notepad++打开 在该文件里面增加如下配置。 <!-- 历史服务器端地址 如果当前主机名hadoop101，则设置hadoop101为服务器名称 --> <property> <name>mapredu
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值