搭建hadoop单机环境（伪分布式）--就是这么简单

最新推荐文章于 2024-05-29 14:10:13 发布
最新推荐文章于 2024-05-29 14:10:13 发布
阅读量3k 收藏 4
点赞数 1
文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/and52696686/article/details/107287066
版权

搭建hadoop单机环境（伪分布式）

一、准备工作

1.安装包下载：

在这里插入图片描述
链接: https://pan.baidu.com/s/1SIUvMlyaQeLiYddYRQh99g
提取码：c8v6

2.创建一个新的虚拟机

参考: https://blog.csdn.net/and52696686/article/details/107279611
注：本机虚拟机IP地址设为： 192.168.209.129
主机名为：hadoop-single

hostnamectl set-hostname hadoop-single

设置主机列表：vi /etc/hosts

插入ip地址及主机名

192.168.209.129 hadoop-single

如下图所示：
在这里插入图片描述

虚拟机创建完成使用MobaXter创建ssh连接虚拟机
在这里插入图片描述

二、解压安装jdk及hadoop

1.进入opt目录，创建文件夹software、install,将之前下载的安装包拖拽进文件夹software中，

cd /opt
mkdir software
madir install

如图：
在这里插入图片描述
2.解压安装，将安装包解压至install目录下

cd /software
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/install/
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/install/

3.将解压后的安装包重命名，简短的命名便于之后修改配置文件中的路径

cd /opt/install
mv jdk1.8.0_221/ jdk180
mv hadoop-2.6.0-cdh5.14.2/ hadoop260

三、修改环境及配置文件

1.设置免密登录

①：切换至家目录，生成私钥

cd
ssh-keygen -t rsa -P ""

需连续两次输入enter键
在这里插入图片描述
②：复制私钥拷贝到公钥

cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys

③：给公钥授权，可读可写

chmod 600 /root/.ssh/authorized_keys

④：测试登录，自己登录自己，如不需要输入密码直接登录，则设置成功

ssh hadoop-single   #第一次切换需要输入yes
exit
ssh hadoop-single   #第二次切换不需要
exit

2.配置jdk

①修改系统环境变量

vi /etc/profile

输入 53 ，快速定位到该行，输入 i ，插入以下代码：

#此处路径为jdk安装的根目录
export JAVA_HOME=/opt/install/jdk180
export CLASSPATH=.:$JAVA_HOME/rt.jar:$JAVA_HOME/tools.jar:$JAVA_HOME/dt.jar
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

如下图：
在这里插入图片描述
按ESC键，输入 冒号 x 保存退出
②：使环境变量生效

soucre /etc/profile

③：测试输入

java -version
javac

显示以下信息说明配置成功
在这里插入图片描述
在这里插入图片描述

3.配置hadoop

切换至hadoop配置文件的文件夹，修改下图中5个配置文件

cd /opt/install/hadoop260/etc/hadoop

在这里插入图片描述

1）修改hadoop-env.sh

vi hadoop-env.sh

修改下图中红框位置的jdk路径
在这里插入图片描述
修改为：
在这里插入图片描述

2）修改core-site.xml

vi core-site.xml

插入以下代码：

<!-- 设置默认节点ip地址接口 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.206.129:9000</value>
</property>

<!-- 设置用于存放hadoop临时文件的目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/install/hadoop260/tmp</value>
</property>

<!-- 设置允许其他主机root用户可以访问 -->
<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>

<!-- 设置其他组下的root用户可以访问 -->
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>

如下图所示：
在这里插入图片描述

3）修改hdfs-site.xml

vi hdfs-site.xml

插入以下代码：

<!-- 设置数据块应该被备份的份数（单机设置为1，搭建集群时机器数最少为3，设置备份数为3即可） -->
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

<!-- 设置免权限验证 -->
<property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
</property>

4）修改mapred-site.xml.template

复制 mapred-site.xml.template 重命名为 mapred-site.xml，并进行编辑

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

插入以下代码：

<!-- 设置mapreduce的工作模式：yarn -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

<!-- 设置mapreduce的工作地址 -->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop-single:10020</value>
</property>

<!-- 设置web页面历史服务端口的配置 -->
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop-single:19888</value>
</property>

5）修改yarn-site.xml

vi yarn-site.xml

插入以下代码：

<!-- reducer获取数据方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop-001</value>
</property>

6）配置hadoop环境变量

vi /etc/profile

按 shift+g 定位到末行，输入o 进入编辑模式，插入以下代码：

#此处更改为hadoop的安装根目录
export HADOOP_HOME=/opt/install/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使环境变量立即生效

source /etc/profile

7)解压安装 hadoop-native-64-2.6.0.tar 包

将 hadoop-native-64-2.6.0.tar 安装包解压安装到hadoop安装目录的lib目录和lib目录下的native目录即可（解压安装两次）,不然启动hadoop时会提示错误信息：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

cd /opt/software
tar -xvf hadoop-native-64-2.6.0.tar -C /opt/install/hadoop260/lib
tar -xvf hadoop-native-64-2.6.0.tar -C /opt/install/hadoop260/lib/native

如下图所示：
在这里插入图片描述

8)格式化HDFS

hadoop namenode -format

若显示信息都为INFO级别无报错信息，则格式化执行成功，如下图：
在这里插入图片描述

四、启动和关闭

  • 启动hdfs和yarn：start-all.sh
  • 关闭hdfs和yarn：stop-all.sh
  • 启动hdfs：start-dfs.sh
  • 关闭hdfs：stop-dfs.sh
  • 启动yarn：start-yarn.sh
  • 关闭yarn：stop-yarn.sh
  • 启动历史服务：mr-jobhistory-daemon.sh start historyserver
  • 关闭历史服务：mr-jobhistory-daemon.sh stop historyserver
    注：第一次启动服务需输入yes确认
    在这里插入图片描述

五、测试

1.启动hdfs、yarn、历史服务

start-all.sh
mr-jobhistory-daemon.sh start historyserver

输入 jps
出现以下7个进程信息说明启动成功
在这里插入图片描述

2.网页端口测试

①：.输入：http://192.168.206.129:50070   若能出现如下页面说明hdfs启动成功
在这里插入图片描述
②：.输入：http://192.168.206.129:8088   若能出现如下页面说明yarn启动成功
在这里插入图片描述

③：.输入：http://192.168.206.129:19888   若能出现如下页面说明历史服务启动成功
在这里插入图片描述

我玩的很开心
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop集群搭建
44683331的博客
01-06 608
Hadoop集群得安装以及安装之后不能启动得问题解决
Linux下hadoop相关配置
Vicky_Tang
06-03 1万+
文章目录Linux下hadoop相关配置Linux下做免密登录hadoop 环境变量配置core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml启动服务 Linux下hadoop相关配置 Linux下做免密登录 ssh-keygen -t rsa cd ~/.ssh cat id_rsa.pub>>authorized_keys hadoop 环境变量配置 vim /etc/profile.d/myenv.sh #hadoop exp
Hadoop伪分布式安装教程
最新发布
cai_4的博客
05-29 1114
hivesever2的模拟用户功能，依赖于Hadoop提供的proxy user（代理用户功能），只有Hadoop中的代理用户才能模拟其他用户的身份访问Hadoop集群。因此，需要将hiveserver2的启动用户设置为Hadoop的代理用户，配置方式如下：修改配置文件。首先，在根目录下创建文件夹 Downloads 用来存放传输上来的文件，在 opt 目录下创建 module 文件用来存放使用解压出来的大数据软件，选择一个安全的，并确保记住它，因为后面需要用到这个密码。要测试它，请检查其状态。
Hadoop介绍及群集搭建
小叮当的博客
07-20 1014
Hadoop介绍及安装部署
zookeeper和hadoop
weixin_43737594的博客
10-12 755
zookeeper操作 连接 zkCli.sh -server 服务名称 查看客户端指令 help ​ ZooKeeper -server host:port cmd args stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl p...
Hadoop 搭建高可用集群--hadoop
m0_73469590的博客
02-19 416
Hadoop 搭建高可用集群--hadoop
搭建Hadoop单机伪分布式环境1
08-08
搭建Hadoop单机伪分布式环境是一项基础而重要的工作，尤其对于初学者来说，这有助于理解Hadoop的工作原理和运行机制。下面将详细讲解这个过程中的关键步骤和涉及的知识点。 首先，我们需要创建一个新的用户，例如名...
从零起步搭建Hadoop单机和伪分布式开发环境图文教程.
01-12
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程：全球最详细（不放过任何一个细节）的从零起步搭建Hadoop单机和伪分布式开发环境图文教程.pdf
Hadoop单机伪分布式搭建教程1
08-04
3.1 下载并解压 3.2 配置环境变量 3.4 关闭防火墙 3.5 初始化 3.7 验证是否启动成功 3.8 单机伪分布式官方wordcount案例测试 3.
搭建hadoop伪分布式.docx
05-23
伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)，请注意分布式运行中的这几个结点的区别：从分布式...
Hadoop伪分布式搭建配置文件
11-18
本文将详细介绍如何在单机环境下搭建Hadoop的伪分布式模式，这是一种模拟分布式环境的配置，适合学习和测试使用。我们将依据《如何搭建hadoop伪分布式》这篇文章，并结合提供的配置文件来探讨相关知识点。 首先，你...
Hadoop学习（2）-- Hadoop3.1 单机模式搭建
一个人的江湖
02-16 1454
1. Hadoop集群整体概述 Hadoop集群包括两个集群：HDFS集群、YARN集群。 两个集群逻辑上分离、通常物理上在一起，两个集群互相之间没有依赖、互不影响，某些角色进程往往部署在同一台物理服务器上。 两个集群都是标准的主从架构集群。 ...
hadoop集群Restful接口的使用
热门推荐
wozipa的博客
08-31 1万+
一、介绍        在通常情况下，我们使用HDFS的command命令去查看hdfs上的文件，或者使用默认的hadoop的web管理器查看，从hadoop0.2.23后，hadoop设计了一套Rest风格的接口，通过http协议访问的方式，去浏览和操作HDFS上的数据。下面将一下hadoop的rest接口。 二、解析 （1）原生rest HDFS的原生rest接口需要进行开启才能够使用
Hadoop高手之路--09--Hive的三种安装配置
kc44601的博客
01-25 3742
hive的三种安装模式 1.内嵌模式 2.本地模式 3.远程模式 4.远程模式下将hive安装到其他节点 5.bin/beeline的使用
Hive进阶之Metastore、hiveserver2配置及使用beeline连接Hbase
wx2007xing的博客
03-28 2618
一、 Hive整合Hbase参考连接： 连接地址：https://blog.csdn.net/wx2007xing/article/details/88862762 二、 hive配置Metastore 2、 配置Metastore Hadoop配置 进入到hadoop软件的配置目录 # cd $HADOOP_HOME/etc/hadoop # vim core-site.xm...
hadoop集群部署
zhaoxuefu的博客
05-25 258
本次基于hadoop-2.6.0-cdh5.8.0版本进行分布式配置。在此设置一个主节点和两个从节点。准备3台虚拟机，分别为：主机名 IP地址 master 192.168.0.118 slave1 192.168.0.123 slave2 192.168.0.133 1.    修改主机名称，把三个节点分别修改hostname，修改主机名为master，slave1，slave2  ho...
Hadoop 部署配置
poem_2010的博客
10-03 263
文件core-site.xml配置： <configuration> <！-- 设置hdfs的默认名称 --> <property> <name>fs.default.name</name> <value>hdfs://m...
Hadoop和集群配置
lhmqy的博客
06-28 273
一、Hadoop配置 虚拟机配好连上moba后： 生成秘钥： ssh-keygen -t rsa -P “” cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 开启远程免密登录配置 ssh-copy-id -i .ssh/id_rsa.pub -p22 root@192.168.56.122 远程登录 [ssh -p 22 root@192.168.56.122 往远程服务器拷贝文件 注：没有建立集群的话，下一步不需要执行操作拷贝。
这是一篇超详细的教你如何安装hadoop的教程，赶快点赞吧
weixin_49165958的博客
09-03 406
安装hadoop 查看本机名更改，(建议是hadoop001) vi /etc/hostname（查看是否更改成功，如不是，可以在更改） 创建一个放压缩包的文档 解压hadoop压缩包 tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C/opt 重新打开一个：一个用于软件解压，一个用于配置软件 在opt目录下查看是否存在安装包，已存在的话，改名 mv hadoop… hadoop vi /etc/profile(配置环境变量)：在CLASSPATH下配置(=后面都有$ e
Hadoop安装文档.pdf
12-20
本篇文档详细介绍了如何在Linux环境下进行Hadoop的安装和...通过这些步骤，用户能够全面了解和掌握如何在一个单节点上搭建和配置Hadoop环境，以及如何向分布式环境过渡，为后续的Hadoop开发和大数据处理打下坚实基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值