虚拟机Linux Hadoop部署

已于 2024-05-07 11:37:57 修改
阅读量278 收藏 2
点赞数
文章标签： linux hadoop 运维
于 2023-07-26 17:21:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62410482/article/details/131938372
版权

资源准备

课程链接：2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目全套一网打尽_哔哩哔哩_bilibili

hadoop 3.1.0百度网盘下载：https://pan.baidu.com/s/1p47t1BNn66T2xNpuBPB1SA  密码: 36nd

jdk 1.8百度网盘下载：https://pan.baidu.com/s/1_e9EyVfxss25jVCL_PtBZw  密码: 7drg

Linux系统：CentOS 7

一、Linux系统设置

1、固定ip

        给每台服务器固定一个ip地址，方便控制

修改网卡配置文件 

        先进入网卡配置文件的目录/etc/sysconfig/network-scripts，每个人的Linux系统的情况可能不同，不能完全按照视频上的来 

cd /etc/sysconfig/network-scripts

          进入到对应目录后，敲入ls命令查看有哪些网卡配置文件，每个网卡都有一个对应的配置文件，以ifcfg-<网卡名称>命名，后面紧跟网卡的名字以便区分

修改网卡配置文件：ifcfg-eth0：

# 编辑网卡配置文件
vim ifcfg-eth0

# 修改或添加以下参数
BOOTPROTO='static'  # 协议设置为静态，即固定IP
IPADDR = 192.168.88.101  # 要设置的IP
NETMASK=255.255.255.0  # 子网掩码
GATEWAY=192.168.88.2  # 网关

重启网卡

systemctl stop network
systemctl start network
# 或
systemctl restart network

        注：这里是为了演示所以IP改成了192.168.88.101，后续我把IP改回192.168.88.3了

2、SSH免密登录

创建ssh秘钥

        一路回车到底 

ssh-keygen -t rsa -b 4096

 将ssh秘钥发送到其他服务器

ssh-copy-id <目标服务器IP地址>

 免密登录其他服务器

ssh <目标服务器IP地址>

3、关闭防火墙

        集群化软件之间需要通过端口互相通讯，为了避免出现网络不同的问题，我们可以简单的在集群内部关闭防火墙 

systemctl stop firewalld  # 关闭防火墙
systemctl disable firewalld  # 关闭防火墙的开机自启

4、关闭SELinux

         linux有一个安全模块：SELinux，用以限制用户和程序的相关权限，以确保系统的安全稳定，因为我们当前属于学习过程，只需要将其关闭，避免后续Hadoop运行出现问题

vim /etc/sysconfig/selinux

# 将SELINUX=enforcing改为
SELINUX=disabled
# 保存退出后重启虚拟机，一个字母都不能写错，不然无法启动虚拟机

5、时间同步

        同步多台linux的时间

# 安装ntp软件
yum install -y ntp
# 更新时区
rm -f /etc/localtime
sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# 同步时间
ntpdate -u ntp.aliyun.com
# 开启ntp服务并设置开机自启
systemctl start ntpd
systemctl enable ntpd

二、安装JDK、Hadoop

1、安装JDK

解压

        jdk的安装位置不一定要跟课程上的一样，我将jdk安装在/opt目录下，将安装包放在安装目录下后，解压到当前目录

tar -zxvf jdk-8u371-linux-x64.tar.gz

创建软连接

ln -s /opt/jdk1.8.0_371 /opt/jdk

配置环境变量

vim /etc/profile


# 在后面追加下面内容
JAVA_HOME=/opt/jdk
PATH=$PATH:$JAVA_HOME/bin

# 使环境变量生效
source /etc/profile

配置Java执行程序的软链接 

# 删除系统自带的java软链接
rm -f /usr/bin/java
# 软链接自己安装的java程序
ln -s /opt/jdk/bin/java /usr/bin/java

验证安装

java -version

 

        安装成功 

2、安装Hadoop

解压

tar -zxvf hadoop-3.1.0.tar.gz

创建软连接

ln -s /opt/hadoop-3.1.0 /opt/hadoop

配置环境变量

vim /etc/profile


# 在后面追加下面内容
HADOOP_HOME=/opt/hadoop
PATH=$PATH:$HADOOP_HOME/bin
PATH=$PATH:$HADOOP_HOME/sbin

# 使环境变量生效
source /etc/profile

三、hdfs部署

1、修改配置文件

        配置文件存放位置在hadoop/etc/hadoop/目录下 

 Hadoop核心配置文件：core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.88.3:8020</value>
        <description>hads的网络通信路径</description>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
        <description>io操作文件缓冲区大小</description>
    </property>
</configuration>

 hdfs核心配置文件：hdfs-site.xml

<configuration>
    <property>
        <name>dfs.datanode.data.dir.perm</name>
        <value>700</value>
        <description>hdfs文件系统，默认创建的文件权限设置</description>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/nn</value>
        <description>namenode元数据的存储位置</description>
    </property>
    <property>
        <name>dfs.namenode.hosts</name>
        <value>192.168.88.3,192.168.88.4,192.168.88.5</value>
        <description>NameNode允许哪几个节点的DataNode连接</description>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
        <description>hdfs默认块大小</description>
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
        <description>NameNode处理的并发线程数</description>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/dn</value>
        <description>从节点NameNode的数据存储目录</description>
    </property>
</configuration>

        记得在linux中创建/data/nn目录 

 配置从节点：workers

192.168.88.3
192.168.88.4
192.168.88.5

配置Hadoop相关环境变量：hadoop-env.sh

export JAVA_HOME=/opt/jdk
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

将配置文件分发到其他服务器 

scp -r hadoop-3.1.0 192.168.88.4:`pwd`/
scp -r hadoop-3.1.0 192.168.88.5:`pwd`/

         记得在另外两台服务器上也创建好Hadoop的软链接，并配置环境变量

2、创建普通用户并设置目录权限

        由于root用户权限太高，在root用户下启动Hadoop程序并不安全，因此创建一个普通用户hadoop 

# 创建用户
useradd hadoop
passwd hadoop
# 设置目录归属和权限
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /opt

3、hdfs初始化

        在NameNode执行初始化命令 

# 切换到hadoop用户
su hadoop
# 执行初始化命令
hadoop -namenode format

        /data/nn文件夹出现新文件，表示NameNode初始化完成 

4、集群启停

# 启动集群
start-dfs.sh
# 关闭集群
stop-dfs.sh

5、查看网页

        在浏览器防卫NameNode（即：192.168.88.3）的9870端口，出现如下页面

         下面这一栏的数字为3（有多少个DataNode节点，数字就为多少，这里有3个DataNode节点），表示DataNode节点也启动成功了

        注：如果在操作过程中出现问题导致没法到达这一步，请检查下是否为虚拟机配置出错或没有正确修改配置文件

四、yarn配置

1、修改配置文件

MapReduce环境变量设置：mapred-env.sh 

# 设置JDK路径
export JAVA_HOME=/opt/jdk1.8.0_371
# 设置JobHistoryServer进程内存为1G
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
# 设置日志级别为INFO
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

MapReduce配置：mapred-site.xml 

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
                <description>MapReduce的运行框架设置为YARN</description>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>192.168.88.3:10020</value>
                <description>设置历史服务器的通讯端口</description>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>192.168.88.3:19888</value>
                <description>设置历史服务器的web端口</description>
        </property>
        <property>
                <name>mapreduce.jobhistory.intermediate-done-dir</name>
                <value>/data/mr-history/tmp</value>
                <description>历史信息在HDFS的记录临时路径</description>
        </property>
        <property>
                <name>mapreduce.jobhistory.done-dir</name>
                <value>/data/mr-history/done</value>
                <description>历史信息在HDFS的记录路径</description>
        </property>
        <property>
                <name>yarn.app.mapreduce.am.env</name>
                <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
                <description>MapReduce HOME设置为HADOOP_HOME</description>
        </property>
        <property>
                <name>mapreduce.map.env</name>
                <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
                <description>MapReduce HOME设置为HADOOP_HOME</description>
        </property>
        <property>
                <name>mapreduce.reduce.env</name>
                <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
                <description>MapReduce HOME设置为HADOOP_HOME</description>
        </property>
</configuration>

 YARN环境变量设置：yarn-env.sh

# 设置JDK路径的环境变量
export JAVA_HOME=/opt/jdk
# 设置HADOOP_HOME的环境变量
export HADOOP_HOME=/opt/hadoop
# 设置配置文件路径的环境变量
export hadoop_conf_dir=$HADOOP_HOME/etc/hadoop
# 设置日志文件路径的环境变量
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

YARN配置：yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>192.168.88.3</value>
                <description>ResourceManager设置在192.168.88.3节点</description>
        </property>
        <property>
                <name>yarn.nodemanager.local-dirs</name>
                <value>/data/nm-local</value>
                <description>NodeManager中间数据本地存储路径</description>
        </property>
        <property>
                <name>yarn.nodemanager.log-dirs</name>
                <value>/data/nm-log</value>
                <description>NodeManager数据日志本地存储路径</description>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
                <description>为MapReduce程序开启Shuffle服务</description>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://192.168.88.3:19888/jobhistory/logs</value>
                <description>历史服务器URL</description>
        </property>
        <property>
                <name>yarn.web-proxy.address</name>
                <value>192.168.88.3:8089</value>
                <description>代理服务器主机和端口</description>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
                <description>开启日志聚合</description>
        </property>
        <property>
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/tmp/logs</value>
                <description>程序日志hdfs的存储路径</description>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.class</name>
                <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
                <description>选择公平调度器</description>
        </property>
</configuration>

2、启动集群

        启动yarn前记得先查看hdfs是否在启动中

# 一键启动yarn集群
start-yarn.sh
# 一键停止yarn集群
stop-yarn.sh

3、查看网页

        在浏览器访问ResourceManager的8088端口 

        启动成功，如果在部署过程中出现错误，同样检查是否为虚拟机配置出错或没有正确修改配置文件

五、hive部署

（占位）

夏末蝉未鸣01
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
linux虚拟机上安装hadoop
qwra1590的博客
10-15 595
设置账号:组 hadoop:hadoop SSH免密登录 注意事项： 关闭防护墙 显示状态：systemctl status firewalld.service 关闭：systemctl stop firewalld.service 开机时禁用：systemctl disable firewalld.service 1.上传文件 （以hadoop·2.7.2为例） 2.解压 [hadoop@hadoop1 soft]$ tar zxvf hadoop-2.7.2.ta...
Linux虚拟机中hadoop的安装配置和集群搭建
weixin_46752181的博客
06-28 1163
文章目录Hadoop的安装和配置第一步第二步第三步第四步第五步第六步集群搭建第一步第二步第三步第四步 Hadoop的安装和配置 首先需要有以下安装包（如有需要，可私信邮箱地址） hadoop-2.6.0-cdh5.14.2.tar.gz hadoop-native-64-2.6.0.tar hbase-1.2.0-cdh5.14.2.tar.gz hive-1.1.0-cdh5.14.2.tar.gz zookeeper-3.4.6.tar.gz 第一步 配置免登录: ssh-keygen -t rsa
Hadoop之mapreduce参数大全-2
m0_49620121的博客
01-04 1263
需要注意的是，设置合理的超时时间可以避免Reduce任务在shuffle阶段的fetch操作中无限重试，从而影响任务的执行效率。需要注意的是，设置合理的超时时间可以避免Reduce任务在shuffle阶段的网络连接中无限等待，从而影响任务的执行效率。需要注意的是，启用网络连接的Keep-Alive特性可以减少网络连接的建立和断开次数，从而提高任务的网络传输效率。但需要注意，设置过小的值可能导致生成的切片数量过多，增加任务启动和管理的开销，而设置过大的值可能导致某些 Map 任务处理过大的数据块而效率降低。
VMware centos7下通过idea实现Hadoop MapReduce经典案例之一的TopN案例
最新发布
2202_75961842的博客
04-28 1951
一：案例需求现假设有数据文件num.txt，现要求使用MapReduce技术提取上述文本中最大的5个数据，并最终将结果汇总到一个文件中。先设置MapReduce分区为1，即ReduceTask个数一定只有一个。我们需要提取TopN，即全局的前N条数据，不管中间有几个Map、Reduce，最终只能有一个用来汇总数据。在Map阶段，使用TreeMap数据结构保存TopN的数据，TreeMap默认会根据其键的自然顺序进行排序，也可根据创建映射时提供的 Comparator进行排序，其firstKey()方法用于返
linux虚拟机安装hadoop集群（hadoop-2.7.5）
cooljack1983的专栏
01-22 333
一台机器作为namenode节点 及resourcemanager节点，两台机器作为datanode节点及nodemanager节点。 1、配置三台服务器的/etc/hosts，或者使用DNS服务器。 2、三台机器安装jdk1.8.0_102及配置好环境变量。 3、创建系统用户。 4、配置免密码登陆。 5、解压hadoop压缩包，并在hadoop目录下，建立tmp、hdfs/name
Linux(虚拟机)安装hadoop
xiaochenchen1的博客
09-06 1014
    强烈建议安装在个人用户的目录里 ，即不需要root权限即可操作的目录，不然会很麻烦。     具体安装推荐一个讲解的特别详细的网址，就是需要注意，不要安装在local目录，不然可能会很麻烦。     http://www.powerxing.com/install-hadoop/  ...
VMware中创建的linux系统中安装hadoop
lyq7269的博客
06-30 6075
一、hadoop的安装 hadoop安装的三种形式： 单机模式 伪分布式 基于yarn的完全分布式模式 安装前的准备： 一个纯净版的centos7 虚拟机，配置好静态ip，主机名，主机映射 配置静态ip：vi /etc/sysconfig/network-scripts/ifcfg-ens33 配置完成后重新启动network：systemctl restart network 修改主机名：vi /etc/hostname 使主机名立即生效（如果不行可以重启虚拟机）：hostnamectl 配置主机映射
linux虚拟机搭建hadoop伪分布式集群
04-26
在搭建Hadoop伪分布式集群的过程中，首先需要在Linux环境下配置VMware的NAT网络，确保虚拟机能够稳定地运行和通信。NAT网络允许虚拟机通过宿主机与外部网络进行通信，同时保持IP地址的固定性。具体操作包括取消DHCP...
Hadoop虚拟机搭建Hadoop-3.3.0集群环境
06-07
总之，搭建Hadoop虚拟机集群环境是一项涉及多方面知识的工作，包括虚拟化技术、Linux操作、网络配置以及Java环境。理解Hadoop的基本原理和配置细节是成功部署的关键。在实际操作中，要保持耐心，逐步解决问题，最终...
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
hadoop环境部署全套组件，下载后直接可用（虚拟机全套）
12-29
本资源提供的是一套完整的Hadoop环境部署，包括了多个关键组件，旨在帮助用户快速搭建一个功能齐全的大数据处理平台。这套虚拟机镜像包含了以下组件： 1. **HDFS (Hadoop Distributed File System)**：Hadoop的核心...
linux安装Hadoop
08-07
研究生期间网上下的教程-Linux上安装Hadoop的教程，仅供参考
linux下的hadoop安装及配置详解
07-13
linux下的hadoop安装及配置详解
linux下载，安装，JDK配置，hadoop安装
07-06
该文档是本人亲自试验过的，包含虚拟机centOS6.5系统的下载，安装，jdk配置，hadoop安装诸多内容。版权所有，未经许可，不得转载。
LINUX虚拟机中HADOOP+HIVE完善伪分布搭建手册
12-04
在LINUX虚拟机中搭建 HADOOP+HIVE大数据平台，完善伪分布搭建手册 。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速...
Linux虚拟机上安装Hadoop集群（初学）
无知而狂妄
01-25 1万+
测试已成功完成安装的版本 hbase-1.2.6-bin.tar.gz hadoop-2.7.5.tar.gz ubuntu-16.04.3-server-amd64.ios jdk-8u161-linux-x64.tar.gz zookeeper-3.4.8.tar.gz ps：如有需要请留言 写在前面的话 关于这篇博客 本教程并不是自己总结而写的，都是网站上的大牛们，...
虚拟机Linux安装及hadoop的安装使用
m0_61083409的博客
04-29 1271
一、安装虚拟机 1、可以去浏览器上找，有许多虚拟机的下载安装教程。这个一般不会遇到什么问题，都能够成功安装，如果遇到问题就去网上搜吧。 2、如果不是正版的虚拟机会需要激活秘钥，这个也可以从网上找到，直接搜你的版本的激活秘钥就可以了。 二、在虚拟机上安装Linux （1）打开虚拟机 （2）创建新的虚拟机 （3）我们这里选的是典型 （4）选择安装程序光盘映像文件，选择你的映像文件（映像文件可以从网上下载，Linux一般是Cent OS） （5）填写信息，这里的全名和用户名随便起就可以，推荐起相同的，密码需要记住
linux环境下建立hadoop虚拟机
揽星河的博客
11-02 363
这里安装虚拟机使用VMvare虚拟机，下载好以后安装过程比较简单，按照提示进行就可以。安装好以后第一次运行需要输入产品密钥，可以百度获取
VMware 虚拟机 +安装linux +搭建Hadoop
热门推荐
哆啦A梦的博客
10-16 1万+
1、首先下载VMware 虚拟机，VMware Workstation 12.0.0 Pro 正式版下载地址如下： http://www.qiankoo.com/thread-3990-1-1.html2、接着下载linux套件，比如说unbutu，稳定的版本推荐14.10 直接在官网下载即可，地址： http://ubuntu-china.cn/download 找个符合自己的版本，先下载
虚拟机与Linu系统安装以及云计算平台的搭建及安装.docx
10-28
。。。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值