ubuntu20.04.5 hadoop3.2.4伪分布式安装部署

最新推荐文章于 2024-07-12 07:06:48 发布
最新推荐文章于 2024-07-12 07:06:48 发布
阅读量335 收藏
点赞数
分类专栏： hadoop 文章标签： 分布式 ubuntu linux hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41268548/article/details/131299577
版权

文章目录

1.服务器信息

在这里插入图片描述

2.关闭防火墙

sudo ufw disable

在这里插入图片描述

sudo ufw status

在这里插入图片描述
#ubuntu 开启/关闭防火墙命令: sudo ufw enable|disable

3.添加安装用户

1.添加用户

sudo adduser hadoop

在这里插入图片描述#密码:hadoop

2.将用户添加到sudo组

sudo usermod -aG sudo Hadoop

3.配置使用sudo命令不需要输入密码

sudo vim /etc/sudoers
#在文件末尾添加以下内容，输入wq!保存退出

hadoop ALL=(ALL) NOPASSWD: ALL

4.配置ip地址

1.添加两张网卡，VMnet1和VMnet8
在这里插入图片描述
2.设置网卡的网络模式,VMnet1设置为仅主机模式，用于本地连接，VMnet8设置为NAT模式，用于连接外网
在这里插入图片描述
3.配置静态ip地址(这里需要为网卡ens38配置ip地址,它对应的VMnet1网卡，ens33对应的是VMnet8网卡，它不需要配置，它会自动通过dhcp获取ip地址,从而是实现访问外网)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
#先关闭再启动

4.查看ip配置情况
在这里插入图片描述

5.修改ip和hostname对应关系

修改hostname

sudo vim /etc/hostname
#将用户名改为hadoop01
cat  /etc/hostname 
hadoop01

添加ip和hostname对应关系

sudo vim /etc/hosts

在这里插入图片描述
重启服务器
sudo reboot

6.同步时间

1.设置时区

sudo timedatectl set-timezone Asia/Shanghai

2.同步时间

sudo ntpdate time.windows.com

3.加入定时任务

crontab -e

#选择第二个
在这里插入图片描述
在这里插入图片描述

* 2 * * * /usr/sbin/ntpdate time.windows.com

4.查看时间是否为当前时间
在这里插入图片描述

7.安装ssh

sudo apt install -y ssh
sudo /etc/init.d/ssh start

8.配置无密码登录

ssh-keygen

在这里插入图片描述

ssh-copy-id hadoop@hadoop01

在这里插入图片描述
验证无密码登录
在这里插入图片描述

9.安装jdk

1.创建存放各应用配置文件的目录

mkdir /home/hadoop/apps

2.使用rz命令上传hadoop，jdk等安装包到/home/hadoop目录下

cd /home/hadoop
rz

在这里插入图片描述

3.解压安装包

tar -zxvf jdk-8u151-linux-x64.tar.gz -C /home/hadoop/apps/

4.添加以下内容到环境变量

vim /home/hadoop/.profile

export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_151
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

source /home/hadoop/.profile
java -version

在这里插入图片描述

10.安装hadoop

10.1 解压hadoop压缩包

执行以下命令解压

tar -zxvf hadoop-3.2.4.tar.gz -C /home/hadoop/apps/

在这里插入图片描述

10.2 添加hadoop环境变量

执行以下命令添加hadoop环境变量

vim /home/hadoop/.profile

#修改后的文件内容如下
在这里插入图片描述

#####HADOOP#####
export HADOOP_HOME=/home/hadoop/apps/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

执行以下命令使得环境变量生效

source /home/hadoop/.profile

10.3 创建hadoop存储目录

执行以下命令创建 HDFS 存储目录

cd /home/hadoop/apps/hadoop-3.2.4
mkdir dfs tmp
cd dfs
mkdir name data

在这里插入图片描述
目录的作用如下:
/dfs/name - 存储namenode文件
/dfs/data - 存储数据
/dfs/tmp - 存储临时文件

10.4 配置hadoop中的java环境变量

执行以下命令修改配置文件hadoop-env.sh和yarn-env.sh

vim /home/hadoop/apps/hadoop-3.2.4/etc/hadoop/hadoop-env.sh 
#修改后的文件内容如下

在这里插入图片描述
// export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_151

vim /home/hadoop/apps/hadoop-3.2.4/etc/hadoop/yarn-env.sh
#修改后的文件内容如下

在这里插入图片描述

// export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_151

10.5 配置workers

执行以下命令配置workers文件

vim /home/hadoop/apps/hadoop-3.2.4/etc/hadoop/workers
#修改后的文件内容如下

在这里插入图片描述

10.6 配置core-site.xml

执行以下命令配置core-site.xml文件

vim /home/hadoop/apps/hadoop-3.2.4/etc/hadoop/core-site.xml
##<configuration></configuration>中加入
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/apps/hadoop-3.2.4/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>

10.7 配置 hdfs-site.xml

执行以下命令配置hdfs-site.xml文件

vim  /home/hadoop/apps/hadoop-3.2.4/etc/hadoop/hdfs-site.xml
##<configuration></configuration>中加入
<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop01:50070</value>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/hadoop/apps/hadoop-3.2.4/dfs/name</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/hadoop/apps/hadoop-3.2.4/dfs/data</value>
  </property>

  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

10.8 配置 mapred-site.xml

执行以下命令配置mapred-site.xml

vim /home/hadoop/apps/hadoop-3.2.4/etc/hadoop/mapred-site.xml
##<configuration></configuration>中加入
<configuration>
     <property> 
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
      </property>
</configuration>

10.9 配置 yarn-site.xml

执行以下命令配置yarn-site.xml

vim /home/hadoop/apps/hadoop-3.2.4/etc/hadoop/yarn-site.xml
##<configuration></configuration>中加入
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

10.10 格式化文件系统

执行以下命令格式化文件系统

cd /home/hadoop/apps/hadoop-3.2.4/bin/
./hdfs namenode -format

在这里插入图片描述

10.11 启动hadoop

执行以下命令启动hadoop

cd /home/hadoop/apps/hadoop-3.2.4/sbin/
./start-all.sh

在这里插入图片描述

10.12 查看进程

执行以下命令查看进程

jps

在这里插入图片描述

10.13 登录管理界面

访问Yarn管理页，浏览器输入: 192.168.1.215:8088
在这里插入图片描述

查看namenode管理页面,在浏览器输入: 192.168.1.215:9870
在这里插入图片描述

查看SecondaryNameNode管理页面,在浏览器输入: 192.168.1.215:50070
在这里插入图片描述

11.安装hive

11.1 解压hive安装包

tar -zxvf /home/hadoop/apache-hive-3.1.2-bin.tar.gz -C /home/hadoop/apps/
mv /home/hadoop/apps/apache-hive-3.1.2-bin /home/hadoop/apps/hive

11.2 配置hive环境变量

vi /home/hadoop/.bash_profile

在这里插入图片描述

#####HIVE#####
export HIVE_HOME=/home/hadoop/apps/hive
export PATH=$HIVE_HOME/bin:$PATH

source /home/hadoop/.bash_profile

11.3 配置hive-site.xml

#创建hive工作目录

hdfs dfs -mkdir -p /user/hive/warehouse
cd /home/hadoop/apps/hive/conf
touch hive-site.xml
chmod +x hive-site.xml

vi hive-site.xml
#做如下配置

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive3?characterEncoding=UTF-8&amp;useSSL=false</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive3</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive3</value>
    <description>password to use against metastore database</description>
  </property>
  <!-- Hive 元数据存储版本的验证 -->
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
  <!--元数据存储授权-->
  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
   </property>
   <!-- Hive 默认在 HDFS 的工作目录 -->
   <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>/user/hive/warehouse</value>
   </property>
 
   <!-- 指定 hiveserver2 连接的 host -->
   <property>
     <name>hive.server2.thrift.bind.host</name>
     <value>localhost</value>
   </property>
   <!-- 指定 hiveserver2 连接的端口号 -->
   <property>
     <name>hive.server2.thrift.port</name>
     <value>10000</value>
   </property>
   
   <property>
     <name>hive.server2.active.passive.ha.enable</name>
     <value>true</value>
   </property>
 
   <property>
     <name>hadoop.proxyuser.root.hosts</name>
     <value>*</value>
   </property>
   <property>
     <name>hadoop.proxyuser.root.groups</name>
     <value>*</value>
   </property>
   <property>
     <name>hive.server2.enable.doAs</name>
     <value>false</value>
   </property>
</configuration>

11.4 将mysql连接驱动放到hive的lib目录下

mv mysql-connector-java-5.1.48.jar /home/hadoop/apps/hive/lib/

将和hadoop冲突包移走

mv /home/hadoop/apps/hive/lib/log4j-slf4j-impl-2.10.0.jar /home/hadoop/apps/hive/

11.5 配置mysql

mysql -uroot -p123456
#创建hive数据库和连接用户
mysql> create database hive3;
mysql> alter database hive3 character set latin1;
mysql> grant all on *.* to hive3@'%' identified by 'hive3';
mysql> flush privileges;
mysql> exit;

#重启mysql

sudo systemctl restart mysql

11.6 添加hadoop classpath

输入命令:

hadoop classpath

在这里插入图片描述

cd /home/hadoop/apps/hadoop-3.2.4/etc/hadoop/
vi yarn-site.xml
#将上面的hadoop classpath输出的添加到里面来
 
<property>
    <name>yarn.application.classpath</name>
    <value>复制的hadoop classpath信息</value>
</property>

11.7 初始化hive

cd /home/hadoop/apps/hive/bin
./schematool -dbType mysql -initSchema

在这里插入图片描述
在这里插入图片描述

11.8 连接hive

在这里插入图片描述

11.9 beeline连接hive

cd /home/hadoop/apps/hive/bin
nohup hive --service metastore > /dev/null 2>&1 &
nohup hive --service hiveserver2 > /dev/null 2>&1 &

在这里插入图片描述

beeline -u jdbc:hive2://localhost:10000 -n hadoop

在这里插入图片描述

老哥爱学习
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Ubuntu 20.04.4升级20.04.6离线资源包
06-04
本文将详细讲解如何使用提供的“Ubuntu 20.04.4升级20.04.6离线资源包”来更新您的系统，特别是针对那些无法连接到互联网或网络条件有限的用户。 首先，我们来看一下标签"ubuntu"，这表明我们的讨论内容与Ubuntu...
ubuntu-20.04.5-desktop-amd64.iso
11-09
ubuntu-20.04.5-desktop-amd64.iso 使用rufud将镜像刻录到U盘里 将刻录的U盘插入到物理机上，开机并进入到BIOS中，设置U盘优先启动，或者开机按下F9进入到引导菜单栏，选择U盘，然后点击Ubuntu进行安装 安装设置
分布式安装配置Hadoop3.2.4
runepic的博客
06-02 968
本文介绍如何在Ubuntu系统中安装配置Hadoop。Hadoop是一个开源的分布式计算框架，它可以处理大规模的数据集。Hadoop的核心组件是Hadoop分布式文件系统（HDFS）和MapReduce编程模型。Hadoop还包括一些其他的子项目，如Hive，Pig，Spark等，提供了不同层次的数据处理能力。
Ubuntu安装hadoop(3.2.4),hbase(2.4.0),hive(3.1.0),phoenix(5.1.2)集群
fan_bigdata的博客
02-07 1327
hadoop-3.2.4,hbase-2.4.0,hive-3.1.0,phoenix-5.1.2集群安装
windows安装hadoop流程
OWBY_Phantomhive的博客
02-23 5513
在windows中安装hadoop其实很简单，下面我们一起来看一下 首先我们要下载一个hadoop的压缩包， hadoop-3.2.2 这是hadoop的官网下载地址，也可以自行选择其他版本 下载完成之后，解压到本地的文件夹中 这里，因为我们安装的hadoop是安装在windows中的，所以我们需要在bin目录中添加一些新的文件，文件随着hadoop的版本变化，我把自己收集的压缩包分享给大家，大家可以自行下载 各个版本winutils-master 直接替换bin目录即可 接下来，我们在电脑上配置一
Hadoop Windows10 安裝
BlueProtocolBlog
12-07 2292
安裝Hadoop之前，我们先需要安装JDK，JDK的安装我就不多说了1、到Oracle的官网中下载jdk，然后解压到一个指定的文件夹，如：D:\Program Files\Java\jdk-15.0.1 2、配置环境变量：在我的电脑中的高级系统设置中我们在系统变量（s）中新建一个系统变量,变量名：JAVA_HOME，变量值：D:\Program Files\Java\jdk-15.0.1 3、然后在系统变量（s）的Path中新建一个%JAVA_HOME%\bin 4、打开控制台，输入java version
hadoop集群安装指南-hadoop3.2.4版本
champion2009的专栏
09-19 1904
hadoop集群安装指南-hadoop3.2.4版本
Ubuntu 20.04.1安装ssh离线资源包
03-18
本教程将详细讲解如何在Ubuntu 20.04.1 LTS（Focal Fossa）上离线安装SSH服务，包括SSH客户端、服务器和SFTP服务器。我们将使用的资源包分别为：`openssh-client_8.2p1-4ubuntu0.4_amd64.deb`、`openssh-server_8.2...
Ubuntu 20.04.4 LTS 升级 22.04 LTS 教程
04-24
2022年4月，Ubuntu Server 22.04 LTS正式发布了，这篇教程将通过命令方式升级Ubuntu Server LTS，并且有注意事项的说明，有图解
Ubuntu20.04.iso光盘镜像源文件
03-29
在提供的"ubuntu20.04.txt"文件中，可能包含了关于Ubuntu 20.04的更多信息，例如安装指南、系统配置建议、软件列表或者更新日志。用户可以通过阅读该文本文件来获取更多详细信息，以便更好地理解和使用Ubuntu 20.04 ...
Hadoop笔记-02 安装
11-24 1676
主要讲解在虚拟机中安装Hadoop的方法
大数据Hadoop环境安装
qq_32729301的博客
11-28 1319
工作场景的需要，最近开始学习起了大数据相关的东西。对于我这个初学者，大数据入门就是首先得学会Hadoop环境的安装，按照步骤如遇相关问题，请指正。Hadoop环境的安装，我是用自己电脑借助VMware workstation构建了三个虚拟机节点，进行安装的。
谷粒商城学习笔记-23-分布式组件-SpringCloud Alibaba-Nacos配置中心-简单示例
epitomizelu的专栏
07-10 915
Nacos是一个易于使用的平台，用于动态服务发现和配置管理。动态配置管理：Nacos允许用户在不重启服务的情况下动态地修改和推送配置信息，实现配置的实时更新。配置集中存储：Nacos提供了一个中心化的配置存储，使得配置信息易于管理和维护，避免了配置分散在不同环境和系统中的问题。配置版本控制：Nacos支持配置的版本控制，可以追踪配置的变更历史，方便进行回滚操作。配置共享：Nacos允许跨服务共享配置，提高配置的复用性，减少冗余。配置隔离。
Redis分布式解决方案 codis
weixin_42824596的博客
07-08 923
Codis要负责将特定的key转发到特定的Redis实例，Codis将所有的key默认划分为1024个槽位（slot），他首先将客户端传来的key进行crc32运算计算哈希值，再将hash后的整数值对1024这个整数进行取模得到一个余数，这个余数就是对应key的槽位，每个槽位都会唯一映射到后面的多个Redis实例之一，Codis会在内存维护槽位和Redis实例的映射关系。当 Codis接收到位于正在迁移槽位中的key后，会立即强制对当前的单个key进行迁移，迁移完成后，再将请求转发到新的Redis实例。
谷粒商城实战笔记-24-分布式组件-SpringCloud Alibaba-Nacos配置中心-命名空间与配置分组
epitomizelu的专栏
07-10 1025
在Nacos中，命名空间（Namespace）是一种逻辑隔离的机制，用于区分不同环境或不同租户的配置和服务。
在分布式环境中，怎样保证 PostgreSQL 数据的一致性和完整性？
最新发布
技术笔记
07-12 1318
在分布式环境中保证 PostgreSQL 数据的一致性和完整性是一项复杂但至关重要的任务。通过合理地运用事务处理、并发控制、数据复制、约束和规则等技术手段，我们可以有效地应对各种挑战，确保数据的准确性和可靠性。随着技术的不断发展，分布式系统的规模和复杂性将不断增加。未来，我们需要不断探索和创新，结合新的技术和算法，进一步提高数据管理的效率和质量。同时，也要加强对数据安全和隐私的保护，为企业和用户提供更加可靠和放心的数据服务。
谷粒商城实战笔记-26-分布式组件-SpringCloud-Gateway网关核心概念&原理
epitomizelu的专栏
07-11 910
微服务架构中，API网关扮演着至关重要的角色，它不仅作为微服务间的通信桥梁，还负责安全、监控、限流等职责。
Ubuntu20.04.6新系统没有wifi驱动（已解决）
qq_43326927的博客
07-11 405
在装完ubuntu20.04.6之后发现网络设置里没有无线网。缺少无线网卡驱动。在参考众多博客后解决。
Ubuntu中如何设置IP地址
uestcai的博客
07-11 704
在 Ubuntu 中，可以通过几种方式设置 IP 地址：使用网络管理器图形界面、命令行工具（如nmcli或nmtui）、或直接编辑网络配置文件。以下是这几种方法的详细步骤。
Ubuntu 20.04.4和Ubuntu20.04.2的区别
04-05
Ubuntu 20.04.4和Ubuntu 20.04.2是Ubuntu 20.04 LTS发行版的不同点版本。主要区别如下： 1. 更新程度：Ubuntu 20.04.4是Ubuntu 20.04 LTS的第四个点版本，而Ubuntu 20.04.2是第二个点版本。因此，Ubuntu 20.04.4包含更多的更新和修复，以确保更好的稳定性和安全性。 2. 内核版本：Ubuntu 20.04.4使用了Linux内核5.11，而Ubuntu 20.04.2使用了Linux内核5.8。这意味着Ubuntu 20.04.4可以获得更好的性能和兼容性。 3. 软件包版本：Ubuntu 20.04.4包含了最新的软件包版本，而Ubuntu 20.04.2则包含了稍旧的软件包版本。这意味着Ubuntu 20.04.4可以提供更好的功能和改进。 4. 支持时间：Ubuntu 20.04.4的支持时间更长，直到2025年，而Ubuntu 20.04.2的支持时间只到2022年。因此，如果需要更长时间的支持，建议选择Ubuntu 20.04.4。 总之，Ubuntu 20.04.4是一个更成熟和稳定的版本，具有更好的性能和兼容性，更长的支持时间，以及更多的更新和修复。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老哥爱学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值