hadoop搭建

已于 2023-05-12 21:03:26 修改
阅读量971 收藏 4
点赞数
分类专栏： 虚拟机 文章标签： hadoop 大数据 hdfs
于 2022-12-19 20:33:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55152875/article/details/128376937
版权

记录一下做分布式作业的过程

一、 jdk安装

(一) 打开命令行

在jdk-8u162-linux-x64.tar.gz所在的文件夹下右键，在终端打开
在这里插入图片描述

(二) 解压缩

输入命令

tar xvzf jdk-8u162-linux-x64.tar.gz

在这里插入图片描述

此时可以看到文件夹下面有一个jdk1.8.0_162文件夹，我们将这个文件夹移动到主目录下，直接拖拽即可。
在这里插入图片描述

二、 hadoop安装

(一) 打开命令行

在hadoop-3.3.4.tar.gz所在的文件夹下右键，在终端中打开
在这里插入图片描述

(二) 解压缩

输入命令

tar xvzf hadoop-3.3.4.tar.gz

在这里插入图片描述

此时可以看到文件夹下面有一个hadoop-3.3.4文件夹，我们将这个文件夹移动到主目录下，直接拖拽即可。
在这里插入图片描述

(三) 配置java环境

打开hadoop-3.3.4文件夹，打开etc文件夹，打开hadoop文件夹，找到hadoop-env.sh文件
在这里插入图片描述

双击打开hadoop-env.sh文件，在文件末尾输入

# set to the root of your Java installation
export JAVA_HOME=/home/xiaojia/jdk1.8.0_162

在这里插入图片描述

保存退出。

(四) 查看hadoop脚本的使用文档
输入命令切换到hadoop-3.3.4文件夹下

cd ~/hadoop-3.3.4

输入命令查看使用文档

bin/hadoop

在这里插入图片描述

三、 伪分布式模式

Hadoop也可以以伪分布式模式运行在单节点上，其中每个Hadoop守护进程运行在单独的Java进程中。

(一) 配置core-site.xml文件

输入命令

vim /home/xiaojia/hadoop-3.3.4/etc/hadoop/core-site.xml

在打开文件中按i进行编辑，输入如下配置

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

在这里插入图片描述

按ESC键，然后按shift + ： ，然后输入wq保存退出。

(二) 配置hdfs-site.xml文件

该文件表示HDFS中每个文件有1个备份
输入命令

vim /home/xiaojia/hadoop-3.3.4/etc/hadoop/hdfs-site.xml

在打开的文件中按i进行编辑，输入如下配置

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
</configuration>

在这里插入图片描述

按ESC键，然后按shift + ： ，然后输入wq保存退出。

(三) 设置 SSH免密码登录
1. 看ssh本地登录是否需要密码

输入命令

ssh localhost

查看ssh本地登录是否需要密码，发现需要密码
在这里插入图片描述

2. 设置ssh免密登录

输入命令

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

在这里插入图片描述

3. 再次查看ssh本地登录是否需要密码

输入命令

ssh localhost

查看ssh本地登录是否需要密码，已经不再需要密码。
在这里插入图片描述

(四) 格式化文件系统

输入命令切换目录

cd /home/xiaojia/hadoop-3.3.4

在这里插入图片描述

输入命令格式化文件系统

bin/hdfs namenode -format

在这里插入图片描述

(五) 启动NameNode和DataNode守护进程

输入命令

sbin/start-dfs.sh

在这里插入图片描述

(六) 在浏览器中问http://localhost:9870/

在这里插入图片描述

(七) 创建执行MapReduce任务所需的HDFS目录:

输入命令

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/myHadoop

在这里插入图片描述

(八) 将输入文件复制到分布式文件系统:

输入命令

bin/hdfs dfs -mkdir input

报错

mkdir: `hdfs://localhost:9000/user/xiaojia': No such file or directory

在这里插入图片描述

输入命令

bin/hdfs dfs -mkdir -p input
bin/hdfs dfs -put etc/hadoop/*.xml input

在这里插入图片描述

(九) 运行hadoop examples

输入命令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar grep input output 'dfs[a-z.]+'

在这里插入图片描述
在这里插入图片描述

(十) 查看grep结果
1. 本地文件系统查看

输入命令

bin/hdfs dfs -get output output
cat output/*

在这里插入图片描述

2. 分布式文件系统上查看

输入命令

bin/hdfs dfs -cat output/*

在这里插入图片描述

3. 网页端输出

在这里插入图片描述

(十一) 停止集群

输入命令

sbin/stop-dfs.sh

在这里插入图片描述

四、 选做内容

(一) 配置mapred-site.xml文件

输入命令

vim /home/xiaojia/hadoop-3.3.4/etc/hadoop/mapred-site.xml

在打开的文件中按i进行编辑，输入如下配置

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>

在这里插入图片描述

按ESC键，然后按shift + ： ，然后输入wq保存退出。

(二) 配置yarn-site.xml文件

输入命令

vim /home/xiaojia/hadoop-3.3.4/etc/hadoop/yarn-site.xml

在打开的文件中按i进行编辑，输入如下配置

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>

在这里插入图片描述

按ESC键，然后按shift + ： ，然后输入wq保存退出。

(三) 启动ResourceManager和NodeManager守护进程

输入命令

sbin/start-yarn.sh

在这里插入图片描述

(四) 在浏览器中访问http://localhost:8088/

在这里插入图片描述

(五) 运行hadoop examples

输入命令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar grep input output 'dfs[a-z.]+'

在这里插入图片描述

拒绝连接，输入命令

sbin/start-dfs.sh

在这里插入图片描述

再次输入命令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar grep input output 'dfs[a-z.]+'

在这里插入图片描述
hdfs开启了安全模式，关闭即可，输入命令

hadoop dfsadmin -safemode leave

在这里插入图片描述
Hadoop未找到命令，输入命令

vim ~/.bashrc

打开文件按i添加内容

export PATH=$PATH:/home/xiaojia/hadoop-3.3.4/sbin:/home/xiaojia/hadoop-3.3.4/bin

在这里插入图片描述
按ESC键，然后按shift + ： ，然后输入wq保存退出。
输入命令重新执行。

source ~/.bashrc

输入命令

hadoop dfsadmin -safemode leave

在这里插入图片描述
再次输入命令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar grep input output 'dfs[a-z.]+'

在这里插入图片描述

找不到或无法加载主类，输入命令

hadoop classpath

保存返回的地址

在这里插入图片描述

输入命令

vim /home/xiaojia/hadoop-3.3.4/etc/hadoop/yarn-site.xml

打开yarn-site.xml文件，按i输入以下内容

<configuration>
<property>
    <name>yarn.application.classpath</name>
    <value>输入刚才返回的Hadoop classpath路径</value>
</property>
</configuration>

在这里插入图片描述

再次输入命令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar grep input output 'dfs[a-z.]+'

在这里插入图片描述
文件夹已存在，删除文件夹，输入命令

sudo rm -rf output/

在这里插入图片描述
再次输入命令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar grep input output 'dfs[a-z.]+'

在这里插入图片描述
在这里插入图片描述

(六) 查看grep结果
1. 本地文件系统查看

输入命令

bin/hdfs dfs -get output output
cat output/*

在这里插入图片描述

2. 分布式文件系统上查看

输入命令

bin/hdfs dfs -cat output/*

在这里插入图片描述

3. 网页端输出

在这里插入图片描述

(七) 停止集群

输入命令

sbin/stop-yarn.sh

在这里插入图片描述
输入命令

sbin/stop-dfs.sh

在这里插入图片描述

自律且java
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop运行环境搭建
qq_68611510的博客
02-28 154
hadoop运行环境搭建
Hadoop环境的搭建（WordCount）
gqk666的博客
09-27 770
linux系统安装hadoop环境 安装hadoop 首先需要通过xftp文件传输将hadoop的.tar.gz（hadoop-3.1.3.tar.gz）文件传输到linux的/opt/software的目录下面 解压hadoop-3.1.3.tar.gz文件到/opt/module这个目录下 [tedu@hadoop105 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 解压成功后会在/opt/module 目录下面看到以下信息 h
Hadoop环境搭建及wordcount程序
weixin_34355559的博客
10-26 214
目的： 前期学习了一些机器学习基本算法，实际企业应用中算法是核心，运行的环境和数据处理的平台是基础。 手段： 搭建简易hadoop集群（由于机器限制在自己的笔记本上通过虚拟机搭建） 一、基础环境介绍 win10 vmware15.0.0 3 ubuntu 虚拟机（1 台作为master ，另外2台作为 slave1、slave2） hadoop2.8.5 jdk1...
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
最新发布
2301_77356579的博客
05-03 795
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
Hadoop-MapReduce
weixin_42166745的博客
05-30 736
MapReduce工作流程 MapReduce详细工作流程（—) 2,获取切片数量 3，提交split,jar和xml（提交到集群中需要jar文件）4，根据切片数确定MapTask的数量 5，读取数据的方式（按行读之类的）6，进行Map中的逻辑运算 7，向环形缓冲区中写入<k,v>数据 （原数据和索引） partiton为区号，缓冲区写满80%后，反向写，那80%的数据需要经过排序后（对key进行排序，按照字典的顺序排）再写入磁盘 10ReduceTask会抓取到同一个分区的来自不同M.
hadoop-2.6.3 windows版本，bin目录包括hadoop.dll winutils.exe hadoop-2.6.0\bin
03-28
hadoop-2.6.3 windows版本，bin目录包括hadoop.dll winutils.exe hadoop-2.6.0\bin
hadoop搭建1
08-08
"Hadoop 搭建 1" Hadoop 是一种开源的分布式计算框架，它提供了一个可靠、高效、可扩展的数据处理解决方案。本文将指导您从头开始搭建一个 Hadoop 集群，包括安装虚拟机、Linux 操作系统、Hadoop 和 JDK，配置网络...
hadoop搭建步骤
08-13
Hadoop搭建步骤 Hadoop是一个大数据处理框架，环境搭建是学习Hadoop的第一步，但要成功搭建一个分布式环境，还是颇费些周折的。以下是Hadoop搭建步骤的详细讲解。 一、静态IP配置 在所有机器上手工设置静态IP，...
Hadoop搭建实验报告
08-02
NULL 博文链接：https://daxiangwanju.iteye.com/blog/1962175
hadoop2.7.4的bin文件夹
10-01
hadoop2.7.4的bin文件夹，替换掉之前的，并把hadoop.dll文件放入system32文件夹下
hadoop访问权限问题 hadoop-core-1.1.2.jar
09-28
Win环境下本地运行hadoop1版本出现访问权限问题，会遇到如下报错： Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
hadoop-mapreduce-examples 官方demo源码
03-15
hadoop-mapreduce-examples 官方demo源码 hadoop-mapreduce-examples-2.7.7-sources
常用Hadoop命令(bin)
anghiking20140716的博客
03-06 166
**** bin 是二进制文件的意思，sbin....据说是superbin（管理员的bin） HDFS命令 某个文件的blocks信息 hadoop fsck /user/xx -files -blocks -locations 改变一个文件或者目录的副本因子 hadoop fs -setrep -R 3 /user/xx 查看app的log yarn logs -applicatio...
bin目录下hadoop脚本使用
xiaoan_ding的专栏
08-05 699
hadoop [--config confdir] COMMAND --
hadoop伪分布式搭建
liyan_1013的博客
07-07 193
一，配置jdk1.解压jdk-8u112-linux-x64.tar.gz文件tar -xzvf jdk-8u112-linux-x64.tar.gz2.重命名jdk-8u112-linux-x64.tar.gz 成jdkmv jdk1.8.0_112 jdk3.配置profile文件vim /etc/profile添加：export JAVA_HOME=/opt/soft/jdk export PATH=$PATH:$JAVA_HOME/bin4.刷新profile文件source /etc/profil
hadoop 2.5.2执行bin/hdfs namenode -format报错
qian9140的博客
12-31 965
按照hadoop 2.5.2文档学习，在执行命令 bin/hdfs namenode -format 时，老是报错： java.lang.NoClassDefFoundError: namecode 到网上搜了很多解决方法，有说修改 etc/hadoop/hadoop-env.sh增加 export HADOOP_COMMON_HOME=/root/test/hadoop-2.5...
Hadoop安装教程(单机/伪分布式配置)
nimo观察者
04-28 5058
Hadoop安装教程(单机/伪分布式配置)
Hadoop 3.3.4 搭建（YARN部署 HDFS部署）
2301_79036309的博客
10-23 473
的node1是要在你的电脑上修改hosts文件的，不然是打不开的网站的，详细请看 1.3。MapReduce运行在YARN容器内，无需启动独立进程。node1，node2，node3都需要建快照。SecondaryNameNode：主节点辅助。ResourceManager进程作为管理节点。yarn正确启动后，在浏览器 在url框输入。NodeManager进程作为工作节点。NameNode进程作为管理节点。NameNode：主节点管理者。DataNode：从节点工作者。成功打开网站后，是下面这样的。
Hadoop搭建HA
09-06
要搭建Hadoop的高可用（HA）环境，你需要考虑以下几个步骤： 1. 配置Hadoop集群：确保你已经成功地设置了一个Hadoop集群，并且所有节点都能够正常通信。 2. 配置ZooKeeper：HA模式下，Hadoop使用ZooKeeper来进行主...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值