Hadoop单节点集群

最新推荐文章于 2024-07-10 03:21:18 发布
最新推荐文章于 2024-07-10 03:21:18 发布
阅读量435 收藏 3
点赞数 1
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_53256878/article/details/129655401
版权
本文详细介绍了如何在单台机器上搭建Hadoop环境，包括安装JDK，设置SSH无密码登录，下载并安装Hadoop，以及配置Hadoop的相关环境变量和XML配置文件，如core-site.xml、yarn-site.xml、mapred-site.xml和hdfs-site.xml。此外，还提到了启动HDFS和YARN的步骤。
摘要由CSDN通过智能技术生成

Hadoop Single Node Cluster

  • Hadoop Single Node Cluster 只以一台机器来建立Hadoop环境，但你仍然可以使用Hadoop命令，只是无法发挥使用多台机器的威力。
  • 因为只有一台服务器，所有的功能都集中在一台服务器中。

安装JDK

  • Hadoop是基于Java开发的，所有必须先安装Java环境。
  • 点击“终端”，输入以下代码查看Java版本
java -version

  • JDK: Java Development Kit, Java语言的软件开发工具包
    查看Java版本

  • 在Linux中既可以使用apt进行软件包的管理，也可以使用apt-get下载安装软件包（或称为套件）。在这里我们会使用apt-get安装jdk。

  • 不过，在安装之前，为了获取最新的软件包版本必须先运行apt-get update。此命令会连接到APT Server，更新最新的软件包信息。

  • 运行apt-get必须具有superuser（超级用户）权限，但superuser权限很大，为了安全考虑，一般我们在运行是不会以superuser来登录系统。我们可以在命令前加上sudo命令，系统会询问superuser密码（既安装是输入的密码），这样就可以获得superuser权限。

  • 在“终端”输入以下命令

sudo apt-get update
  • 接着输入密码

输入密码

  • 任务完成

任务完成

  • 使用apt-get安装JDK
  • 在“终端”输入以下命令
sudo apt-get install default-jdk

在这里插入图片描述

  • 先输入“Y”再按Enter键
  • 任务完成
    在这里插入图片描述
  • 再次使用以下命令查看Java版本
java -version
  • 系统响应已安装的Java版本时，代表已经成功安装了JDK
    代表已经成功安装了JDK
  • 查询Java安装路径
update-alternatives --display java

设置SSH无密码登录

  • Hadoop是由很多台服务器所组成的，当我们启动Hadoop系统时，NameNode必须与DataNode连接，并管理这些节点（DataNode）。此时系统会要求用户输入密码。为了让系统顺利运行不需手动输入密码，就需要SSH设置成无密码登录。
  • 注意，无密码登录并非不需要密码，而是以事先交换的SSH Key（密钥）来进行身份验证。
  • Hadoop使用SSH（Secure Shell）连接是目前较可靠、专为远程登录其他服务器提供的安全性协议。通过SSH会对所有传输的数据进行加密。利用SSH协议可以防止远程管理系统时信息外泄的问题。

安装SSH

  • 在“终端”输入以下命令
sudo apt-get install ssh

在这里插入图片描述
在这里插入图片描述

安装rsync

  • 在“终端”输入以下命令
sudo apt-get install rsync

在这里插入图片描述

  • 在“终端”输入以下命令
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

产生密钥文件

查看产生的密钥

  • SSH Key会产生在用户的根目录下，也就是/home/hduser
  • 在“终端”输入以下命令
ll ~/.ssh

在这里插入图片描述

将产生的Key放置到许可证文件中

  • 为了能够无密码登录本机，我们必须将产生的公钥加入到许可证文件中。
  • 在“终端”输入以下命令
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  • Linux的输出重定向附加功能命令的格式如下
  • 命令 >> 文件
  • 重定向符号“>>”会将命令执行后产生的标准输出（stdout）重定向附加在该文件之后。
  • 如果文件不存在，就会先创建一个新文件，然后把标准输出（stdout）的内容存储在这个文件中。
  • 如果文件已经存在，就会将标准输出（stdout）的数据附加至文件内容的后面，而不会覆盖原来文件的内容。

下载安装Hadoop

  • 登录Hadoop官网下载页面

https://archive.apache.org/dist/hadoop/common/

在这里插入图片描述

  • 下载Hadoop

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 在“终端”输入wget及空格键，然后粘贴之前复制的链接
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
  • 解压缩hadoop 2.6
  • 在“终端”输入以下命令
sudo tar -zxvf hadoop-2.6.0.tar.gz
  • 移动hadoop2.6.0目录到/usr/local/hadoop
sudo mv hadoop-2.6.0 /usr/local/hadoop

下载安装Hadoop（方法二）

  • 解决下载时间过长问题
  • 登录清华大学开源软件镜像站：

https://mirrors.tuna.tsinghua.edu.cn/

在这里插入图片描述
在这里插入图片描述

  • 在“终端”输入wget及空格键，然后粘贴之前复制的链接
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable2/hadoop-2.10.1.tar.gz --no-check-certificate

在这里插入图片描述

  • 下载完成
    在这里插入图片描述
  • 解压缩Hadoop 2.10.1
  • 在“终端”输入以下命令
sudo tar -zxvf hadoop-2.10.1.tar.gz

在这里插入图片描述

  • 移动hadoop2.6.0目录到/usr/local/hadoop
sudo mv hadoop-2.10.1 /usr/local/hadoop

在这里插入图片描述

查看Hadoop安装目录/usr/local/hadoop

  • 在“终端”输入以下命令
ll /usr/local/hadoop

在这里插入图片描述
在这里插入图片描述

设置Hadoop环境变量

  • 运行hadoop必须设置很多环境变量，可是如果每次登录时都必须重新设置就会很麻烦。因此可以再~/.bashrc文件中设置每次登录时都会自动运行一次环境变量设置。
  • 编辑 ~/.bashrc
  • 在“终端”输入以下命令
sudo gedit ~/.bashrc
  • 在打开的文件末尾添加以下内容：
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
  • 编辑完成后，先保存，再退出！
    在这里插入图片描述

对上面的解释

  • 设置JDK安装路径

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

  • 设置HADOOP_HOME为Hadoop的安装路径/usr/local/Hadoop

export HADOOP_HOME=/usr/local/Hadoop

  • 设置PATH

export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin export
PATH= P A T H : PATH: PATH:HADOOP_HOME/sbin

  • 设置HADOOP其他环境变量

export HADOOP_MAPRED_HOME= H A D O O P H O M E e x p o r t H A D O O P C O M M O N H O M E = HADOOP_HOME export HADOOP_COMMON_HOME= HADOOPH​OMEexportHADOOPC​OMMONH​OME=HADOOP_HOME export HADOOP_HDFS_HOME= H A D O O P H O M E e x p o r t Y A R N H O M E = HADOOP_HOME export YARN_HOME= HADOOPH​OMEexportYARNH​OME=HADOOP_HOME

  • 链接库的相关设置

export HADOOP_COMMON_LIB_NATIVE_DIR= H A D O O P H O M E / l i b / n a t i v e e x p o r t H A D O O P O P T S = " − D j a v a . l i b r a r y . p a t h = HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path= HADOOPH​OME/lib/nativeexportHADOOPO​PTS="−Djava.library.path=HADOOP_HOME/lib" export
JAVA_LIBRARY_PATH= H A D O O P H O M E / l i b / n a t i v e : HADOOP_HOME/lib/native: HADOOPH​OME/lib/native:JAVA_LIBRARY_PATH

让~/.bashrc设置生效

  • 当修改/.bashrc之后，先从系统注销再登录系统，这样设置就会生效，或者使用source命令让/.bashrc设置生效

  • 在“终端”输入以下命令

source ~/.bashrc

在这里插入图片描述

编辑Hadoop-env.sh

  • hadoop-env.sh是hadoop的配置文件，在这里必须设置Java的安装路径
  • 在“终端”输入以下命令
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
  • 原文件中JAVA_HOME的设置是：

export JAVA_HOME=${JAVA_HOME} 修改为：

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

  • 修改完保存并关闭文件
    在这里插入图片描述

设置core-site.xml

  • 在“终端”输入以下命令
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
  • 设置HDFS的默认名称
<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
</property>
  • 修改完保存并关闭文件
  • 在core-site.xml中，我们必须设置HDFS的默认名称，当使用命令或程序要存取HDFS时，可使用此名称。
    在这里插入图片描述

编辑yarn-site.xml

  • yarn-site.xml文件中含有MapReduce2（YARN）相关的配置设置。
  • 在“终端”输入以下命令
sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
  • 编辑yarn-site的配置
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
  • 修改完保存并关闭文件

在这里插入图片描述

设置mapred-site.xml

  • mapred-site.xml用于设置监控Map与Reduce程序的JobTracker任务分配情况以及TaskTracker任务运行情况。Hadoop提供了设置的模板文件，可以自行复制修改。
  • 在“终端”输入以下命令，复制模板文件：由mapred-site.xml.template至mapred-site.xml
sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

在这里插入图片描述

编辑mapred-site.xml

  • 在“终端”输入以下命令
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
  • 编辑mapred-site.xml的配置
<property>
 <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
  • 修改完保存并关闭文件

在这里插入图片描述

编辑hdfs-site.xml

  • hdfs-site.xml用于设置HDFS分布式文件系统
  • 在“终端”输入以下命令
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
  • 输入以下内容
<property>
   <name>dfs.replication</name>
   <value>3</value>
</property>
<property>
   <name>dfs.namenode.name.dir</name>
   <value> file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
   <value> file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>
  • 修改完保存并关闭文件

在这里插入图片描述

  • 对上面内容的解释
  • 设置blocks副本备份数量
<property>
   <name>dfs.replication</name>
   <value>3</value>
</property>
  • 设置NameNode数据存储目录
<property>
   <name>dfs.namenode.name.dir</name>
   <value> file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
  • 设置DataNode数据存储目录
<property>
   <name>dfs.datanode.data.dir</name>
   <value> file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>

创建并格式化HDFS目录

  • 创建NameNode数据存储目录
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
  • 创建DataNode数据存储目录
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
  • 将Hadoop目录的所有者更改为hduser
sudo chown hduser:hduser -R /usr/local/hadoop
  • Linux是多人多任务的操作系统，所有的目录或文件都具有所有者。使用chown可以将目录或文件的所有者更改为hduser。

在这里插入图片描述

将HDFS进行格式化

  • 在“终端”输入以下命令
hadoop namenode -format
  • Note：如果你的HDFS已经有数据，可以执行以上HDFS格式化命令，这个操作会删除所有的数据。

在这里插入图片描述

启动Hadoop

  • 方法一：分别启动HDFS、YARN，使用start-dfs.sh启动HDFS、start-yarn.sh启动YARN
  • 方法二：同时启动HDFS、YARN，使用start-all.sh

启动HDFS

start-dfs.sh

在这里插入图片描述

启动YARN

start-yarn.sh

在这里插入图片描述

查看NameNode、DataNode进程是否启动

  • 在“终端”输入以下命令
jps

在这里插入图片描述

HDFS功能：NameNode、Secondary NameNode、DataNode
MapReduce2（YARN）：ResourceManager、NodeManager

Hadoop Resource Manager Web界面

  • 在虚拟机内的浏览器中输入以下网址

http://localhost:8088/
在这里插入图片描述
因为安装的是Single Node Cluster，所有当前只有一个节点

在这里插入图片描述

NameNode HDFS Web 界面

在虚拟机内的浏览器中输入以下网址
http://localhost:50070/

在这里插入图片描述

查看Live Nodes

在这里插入图片描述

查看DataNodes

在这里插入图片描述

今天学代码了吗
关注
Hadoop三节点集群安装
01-04
Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器
Hadoop 单节点部署
zhixingheyi_tian的博客
09-17 1324
Setup passphraseless ssh Now check that you can ssh to the localhost without a passphrase: $ ssh localhost If you cannot ssh to localhost without a passphrase, execute the following commands: $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/i
Hadoop单节点配置、虚拟机集群配置
weixin_48314976的博客
01-07 1751
Ubuntu 20.04/Hadoop3.2/JDK8/Hadoop单节点配置/Hadoop集群配置/超级详细，本人自己的配置流程。
【hive】单节点搭建hadoop和hive
lisacumt的专栏
04-09 1797
单节点搭建hadoop和hive，总占用内存6GB
Hadoop单节点集群启动命令
最新发布
weixin_35693911的博客
07-10 47
命令相关视频讲解：Linux系统面试刷题——Nginx访问日志IP访问量排名前10命令如何启动Hadoop单节点集群 一、整体流程 下面是启动Hadoop单节点集群的整体流程： 启动Hadoop单节点集群流程#render_9_703355072-svg{font-family:"trebuchet ms",verdan...
Hadoop集群启动的四种方式
m0_68533987的博客
04-14 7343
使用脚本一键启动集群需要配置slaves配置文件和SSH免密登录hadoop01、hadoop02、hadoop03三台节点（视自身情况而定），为了在任意一台节点上执行脚本一键启动Hadoop服务，需要在三台虚拟机包括自身节点均配置SSH双向免密登录。将脚本放在/usr/bin目录下，创建脚本文件：hadoop.sh。在任意目录下都可以执行脚本文件。
Hadoop单节点部署指导
12-14
### Hadoop单节点部署指导知识点详解 #### 一、实验目的 - **理解Hadoop原理机制**：深入了解Hadoop的工作原理及其背后的技术架构。 - **熟悉Hadoop集群体系结构**：掌握Hadoop集群中各组成部分的功能及其交互方式...
hadoop1:hadoop单节点
03-28
以下是一步步搭建Hadoop单节点集群的步骤： 1. **系统准备**：确保你的操作系统是Linux，因为Hadoop通常在Linux环境下运行。安装Java开发工具包（JDK），Hadoop依赖于Java环境。 2. **下载Hadoop**：从Apache官方...
hadoopcluster-ansible:它包含Ansible Playbook和角色，可通过AWS部署Hadoop多节点集群
05-03
使用Ansible的Hadoop多节点集群 该存储库包含Ansible Playbook和角色，以通过AWS EC2实例部署Hadoop多节点集群。 角色扮演- 角色名称 角色描述 awsInfra4Hadoop 为Hadoop MultiNode Cluster创建AWS基础架构 ...
大数据之hadoop多节点集群搭建.docx
11-24
大数据之 Hadoop 多节点集群搭建 本文将详细介绍如何搭建一个多节点 Hadoop 集群，包括集群架构设计、虚拟机配置、节点设置等内容。 一、集群架构设计 在搭建 Hadoop 集群之前，需要设计集群的架构。本文中的示例...
hadoop学习——配置hadoop单节点集群，启动HDFS
LiQingBB的博客
04-16 767
hadoop配置其实在官网上写的非常清楚了，这里演示一遍。版本采用的是hadoop-2.6.0-cdh5.15.1，网址为： http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/hadoop-common/SingleCluster.html 首先修改配置文件etc/hadoop/c...
【Flink】Flink（一）单节点启动以及集群环境启动
JeffHan^_^的博客
04-26 1604
在进行Flink部署之前，我们需要事先准备好以下几个条件1.()两台虚拟机2.(推荐)固定以下两台Centos的IP可以参考下面文章3.(推荐)配置SSH免密登录参考下面文章4.()配置Java环境参考下面文章前半段5.()下载Flink安装包我这里下载的是flink1.17版本。
CC00012.hadoop——|Hadoop&Hadoop核心框架.V12|——|Hadoop.v12|集群启动|单节点启动|群启动|
yanqi_vip
04-06 348
一、[Hadoop完全分布式集群搭建之集群启动] ### --- 启动集群注意事项 ~~~ # 注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode， ~~~ # 非第一次不用执行格式化Namenode操作！！ 二、单节点启动 ### --- 所有节点执行 ~~~ 输出这句内容说明格式化成功 ...
hadoop单节点datanode启动不了
DDDHL_的博客
12-24 3823
start-all.sh无法启动datanode，start datanode也无法启动
Hadoop集群启动（单结点）启动
qq_45834007的博客
02-16 384
已经启动过datanode,再次启动web页面访问不到
大数据集群启动操作-单节点、集群
初学者
08-17 875
1、启动hadoop ① 需要启动 1、启动hdfs sbin/start-dfs.sh 2、启动yarn sbin/start-yarn.sh 3、启动日志（特别关键，可以很方便的从历史日志中查看你哪里出错，包括system.out.println打印的也可以呈现） sbin/mr-jobhistory-daemon.sh start historyserver 2、启动zookeeper b...
Hadoop完全分布式运行模式（四）集群单节点启动
weixin_43497444的博客
02-24 390
1.如果集群是第一次启动，需要格式化 NameNode [hadoop@hadoop102 hadoop-2.7.2]$ hadoop namenode -format 2.在hadoop102上启动NameNode [hadoop@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode [hadoop@hadoop102 hadoop-...
用户认证——安全模式下启动Hadoop集群
zhangzhagn_的博客
08-06 1052
Kerberos集成hadoop，安全模式下启动Hadoop集群
Hadoop单节点设置
danpob13624的博客
04-04 249
在这篇文章中，我希望分享在单节点中设置Apache Hadoop的过程。 Hadoop用于处理在低成本商品硬件上进行部署的大数据集。 它是一个map-reduce框架，它在集群中的节点之间映射作业的分段以执行。 尽管我们看不到Hadoop在单节点上运行的确切功能，但这是迈向多节点集群的第一步。 单节点设置对于熟悉操作和调试应用程序的准确性很有用，但是性能可能远低于可达到的水平。 我正在共...
Ubuntu上单节点Hadoop集群配置指南
完成单节点配置后，可以进一步学习多节点集群的搭建，或者深入理解Hadoop的MapReduce编程模型，以及YARN资源管理框架。 这份文档详细介绍了从零开始配置和使用单节点Hadoop集群的全过程，对于学习和实践Hadoop基础...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值