第2章 Hadoop运行环境搭建（开发重点）

最新推荐文章于 2024-05-31 14:54:28 发布
最新推荐文章于 2024-05-31 14:54:28 发布
阅读量617 收藏 20
点赞数 25
分类专栏： hadoop 文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42445566/article/details/138041490
版权

1. 模板虚拟机环境准备

  1. 安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G
  2. hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例）
    1. 使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况
    2. 安装epel-release
      注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的
    3. 注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作
      1. net-tool：工具包集合，包含ifconfig等命令
        yum install -y net-tools
      2. vim：编辑器
        yum install -y vim
  3. 关闭防火墙，关闭防火墙开自启动
    systemctl stop firewalld
    disable firewalld.service
    注意：在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

  4. 创建atguigu用户，并修改atguigu用户的密码
    useradd atguigu
    passwd atguigu

  5. 配置atguigu用户具有root权限，方便后期加sudo执行root权限的命令
    vim /etc/sudoers
    修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：

    ## Allow root to run any commands anywhere

    root    ALL=(ALL)     ALL

    ## Allows people in group wheel to run all commands

    %wheel  ALL=(ALL)       ALL

    atguigu   ALL=(ALL)     NOPASSWD:ALL
    注意：atguigu这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了atguigu具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以atguigu要放到%wheel这行下面

  6. 在/opt目录下创建文件夹，并修改所属主和所属组
    （1）在/opt目录下创建module、software文件夹

     mkdir /opt/module

    mkdir /opt/software


    （2）修改module、software文件夹的所有者和所属组均为atguigu用户 

    [root@hadoop100 ~]# chown atguigu:atguigu /opt/module

    [root@hadoop100 ~]# chown atguigu:atguigu /opt/software


    （3）查看module、software文件夹的所有者和所属组

    [root@hadoop100 ~]# cd /opt/

    [root@hadoop100 opt]# ll

    总用量 12

    drwxr-xr-x. 2 atguigu atguigu 4096 5月  28 17:18 module

    drwxr-xr-x. 2 root    root    4096 9月   7 2017 rh

    drwxr-xr-x. 2 atguigu atguigu 4096 5月  28 17:18 software

  7. 卸载虚拟机自带的JDK
    注意：如果你的虚拟机是最小化安装不需要执行这一步。
     

    rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm -qa：查询所安装的所有rpm软件包
grep -i：忽略大小写
xargs -n1：表示每次只传递一个参数
rpm -e –nodeps：强制卸载软件

  8. 重启虚拟机

    [root@hadoop100 ~]# reboot

2. 克隆虚拟机

1)利用模板机hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104

注意：克隆时，要先关闭hadoop100

2)修改克隆机IP，以下以hadoop102举例说明

（1）修改克隆虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
改成
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2

（2）查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

（3）查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

（4）保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

3)修改克隆机主机名，以下以hadoop102举例说明

（1）修改主机名称
 

[root@hadoop100 ~]# vim /etc/hostname
hadoop102

（2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

4）重启克隆机hadoop102

[root@hadoop100 ~]# reboot

5）修改windows的主机映射文件（hosts文件）

（1）如果操作系统是window7，可以直接修改

  • （a）进入C:\Windows\System32\drivers\etc路径
  • （b）打开hosts文件并添加如下内容，然后保存
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

（2）如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可

  • （a）进入C:\Windows\System32\drivers\etc路径
  • （b）拷贝hosts文件到桌面

  • （c）打开桌面hosts文件并添加如下内容
     

    192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

  • 将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

3. 在hadoop102安装JDK

1）卸载现有JDK

注意：安装JDK前，一定确保提前删除了虚拟机自带的JDK。详细步骤见问文档3.1节中卸载JDK步骤。

2）用XShell传输工具将JDK导入到opt目录下面的software文件夹下面

3）在Linux系统下的opt目录中查看软件包是否导入成功

[atguigu@hadoop102 ~]$ ls /opt/software/

看到如下结果

jdk-8u212-linux-x64.tar.gz

4）解压JDK到/opt/module目录下

[atguigu@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

5）配置JDK环境变量

（1）新建/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

（2）保存后退出

:wq

（3）source一下/etc/profile文件，让新的环境变量PATH生效

[atguigu@hadoop102 ~]$ source /etc/profile

6）测试JDK是否安装成功

java -version
如果能看到以下结果，则代表Java安装成功。
java version "1.8.0_212"

注意：重启（如果java -version可以用就不用重启）

[atguigu@hadoop102 ~]$ sudo reboot

4. 在hadoop102安装Hadoop

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1）用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

2）进入到Hadoop安装包路径下

[atguigu@hadoop102 ~]$ cd /opt/software/

3）解压安装文件到/opt/module下面

[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）查看是否解压成功

[atguigu@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3

5）将Hadoop添加到环境变量

（1）获取Hadoop安装路径

[atguigu@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
  • 在my_env.sh文件末尾添加如下内容：（shift+g） 
    #HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
  • 保存并退出： :wq
     

（3）让修改后的文件生效

[atguigu@hadoop102 hadoop-3.1.3]$ source /etc/profile

6）测试是否安装成功

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3

7）重启（如果Hadoop命令不能用再重启虚拟机）

[atguigu@hadoop102 hadoop-3.1.3]$ sudo reboot

5. Hadoop目录结构

1）查看Hadoop目录结构

[atguigu@hadoop102 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 bin
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 etc
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 include
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 lib
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu  4096 5月  22 2017 share

2）重要目录

（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

我爱刮刮乐
关注
  • 25
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据之linux服务器jdk安装
wangli3525486的博客
04-10 2128
1、确认linux上的自带openjdk并删除 rpm -qa|grep jdk rpm -e jdk的全名称 例如（下面只是例子，不是真正要删除的东西） 2、离线安装所需要的jdk 步骤一：在/opt下创建soft和install文件夹分别存放未解压和已解压文件 soft：安装软件包的所在目录 instal：安装软件包的目标目录 # cd /opt # mkdir soft # mkdir install # chmod 777 soft ;chmod 777 install 步骤二：将
hadoop运行环境搭建
qq_68611510的博客
02-28 149
hadoop运行环境搭建
大数据Hadoop，安装JDK，安装Hadoop，克隆虚拟机笔记（重点，重点，重点）（二）...
qq_52596292的博客
07-22 1440
分析1）虚拟机环境准备，克隆虚拟机（关闭防火墙、静态IP、主机名称）2）安装JDK3）配置环境变量4）安装Hadoop5）配置环境变量。
大数据学习笔记--Hadoop(1)-准备虚拟机安装java和hadoop
小小一只可乐猪
07-07 459
一、下载 1、相关软件下载 百度网盘地址 提取码：zz0r 1、 软件环境说明 windows10+vmware14pro+centOS7.3+jdk1.8+Hadoop2.7 2、安装虚拟机 百度就行 3、安装centOS7.3 安装虚拟机文章（引用的） 根据上述的步骤安装一台虚拟机就好，网络模式设置为NAT模式，然后再克隆两个完整的虚拟机就好了。我这里是克隆了两台，名称如下 三台机器分别命名为 hadoop100 hadoop101 hadoop102 安装三台虚拟机并实现SSH互相免密登陆 1、设置
Hadoop之scp -r拷贝jdk、hadoop保姆级教学
a2957827124的博客
03-26 1217
Hadoop之scp -r 拷贝jdk、hadoop操作
Hadoop 运行环境搭建（从安装及克隆虚拟机开始......）
17902的博客
10-01 1107
文章目录一、CentOS7 软硬件安装及配置配置IP及主机名二、Xshell远程连接Linux三、模板虚拟机环境准备四、克隆虚拟机五、安装配置 JDK 和 Hadoop安装配置 JDK安装配置 Hadoop 一、CentOS7 软硬件安装及配置 安装可以参考：VMware15 与 CentOS7 的安装及配置（部分配置参考下面） 部分配置参考： 这里配置需要看一下自己电脑的内核情况：任务管理器 -> 性能 -> 打开资源监视器 -> CPU 我的电脑现在是有8个CPU 由于之后学习过程
【Hadoop】第二章——Hadoop运行环境搭建（开发重点）
无邪的博客
12-01 241
此文章资料请下载百度网盘：链接：https://pan.baidu.com/s/15q-gV6bNHmKDkCeskdQ-nQ?pwd=r473 提取码：r473。
Hadoop环境搭建
m0_67391121的博客
09-02 711
Hadoop是一个分布式系统基础架构，需要多台服务器才能有效工作。本文采用虚拟机模拟多台服务器的情况，server-1作为NameNode,server-2与server-3作为DataNode,简单介绍Hadoop环境的搭建步骤。重点介绍SSH协议免密码访问配置和NameNode ，DataNode的配置。虚拟服务器的安装以及jdk的安装在这里不做详细叙述。
hadoop开发环境搭建
09-12
此文档在hadoop集群搭建完毕之后，在集群之外搭建一个hadoop集群的开发环境，用于编写hadoop实际处理程序，还包括了如何提交任务等。整体非常详细，如需要其他hadoop集群搭建资源可以联系我，免费给q：1487954071
6-大数据技术之Hadoop运行环境搭建（重点）
12-15
6_大数据技术之Hadoop运行环境搭建（重点）
详解Hadoop 运行环境搭建过程
10-16
主要介绍了Hadoop 运行环境搭建过程，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf
06-27
第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式...
hadoop学习笔记
皮鞭蘸碘伏边抽边消毒
05-28 614
Hadoop 是一个开源的分布式存储和计算框架，旨在处理大规模数据集并提供高可靠性、高性能的数据处理能力。它主要包括以下几个核心组件：Hadoop 分布式文件系统（HDFS）：HDFS 是 Hadoop 的分布式文件存储系统，用于存储大规模数据，并通过数据的副本和自动故障恢复机制来提供高可靠性和容错性。
基于Hadoop平台的大数据可视化分析实现与应用
No_Name_Cao_Ni_Mei的博客
05-29 539
本文旨在探讨并实现一种基于Hadoop平台的大数据可视化分析方法，并对其应用进行了实证研究。首先，通过搭建Hadoop集群，构建了一个可处理大规模数据的环境。然后，采用Hive作为数据仓库，利用其强大的查询和分析能力，对海量数据进行处理和提取。针对所提取的数据，基于Hadoop平台开发了一套可视化分析工具。该工具通过图表、地图和图形等形式直观地展示大数据的特征和趋势。通过实际应用评估，该工具为用户提供了快速、直观和高效的数据分析方式，有效帮助用户发现和理解隐藏在大数据背后的规律和关系。
apache大数据各组件部署搭建（超级详细）
weixin_43977307的博客
05-30 1340
准备3台服务器用于集群部署，系统建议CentOS7+，2核8G内存172.19.195.228 hadoop101 172.19.195.229 hadoop102 172.19.195.230 hadoop103 2. 安装包下载准备 数仓部署组件安装包： 链接：https://pan.baidu.com/s/1Wjx6TNkedMTmmnuWREW-OQ 提取码：bpk0已经把相关组件均上传至网盘，也可自行去各自官方地址去下载收集；3台机器的/etc/hosts主机名解析配置： 4. 配置服务器之间免密
深入解析CRM客户关系系统：技术架构与功能实现的融合创新
最新发布
m0_65038841的博客
05-31 365
通过以上技术架构和功能实现，CRM客户关系管理系统能够帮助企业实现客户信息的集中管理、销售过程的自动化、营销活动的精准投放以及客户服务的提升，从而提高企业的市场竞争力和客户满意度。容器化与微服务：采用Docker和Kubernetes等技术，实现系统的容器化和微服务架构，提高系统可扩展性和部署灵活性。营销活动管理：创建、发布和管理各种营销活动，如优惠券、促销活动和线上线下活动等，支持活动效果分析。客户信息管理：实现对客户基本信息的录入、查询、修改和删除功能，支持多维度客户细分和标签管理。
Apache Impala 4.4.0正式发布了！
Stiga Huang的专栏
05-28 846
Apache Impala 4.4.0正式发布了！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值