一次性搞定hadoop的安装与使用

6 篇文章 0 订阅
1 篇文章 0 订阅

hadoop-3.3.0安装

准备工作

在虚拟机中安装好了java-jdk

没安装 jdk 怎么办?点击跳转

没虚拟机怎么办?点击跳转

开始安装hadoop

1、下载hadoop安装包并拖拽安装包到虚拟机中

无法拖拽文件?点击跳转

在这里插入图片描述
2、右键提取文件到此处,注意:我保存hadoop文件的路径,建议路径先和我统一,等熟练了再用自己的路径,路径相关的地方我会提示
在这里插入图片描述3、这些是需要配置的文件,按照我划出的路径即可找到这些文件

我的路径是
主文件夹>aa>hadoop3.3.0>etc>hadoop
在这里插入图片描述
4、这是需要你配置的第一个文件,Hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-oracle/

修改完成后保存关闭即可
在这里插入图片描述
5、这是你需要配置的第二个文件
core-site.xml

<property>
	  <name>fs.default.name</name>
	  <value>hdfs://localhost:9000</value>
	 </property>
	 <property>
	    <name>hadoop.tmp.di</name>
	    <value>/home/zz/aa/hadhoop-3.3.0/data/tmp</value>
	</property>

注意:图中红框划出的位置为你自己的路径,其中zz为你的用户名
在这里插入图片描述
6、这是你需要配置的第三个文件
hdfs-rbf-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

在这里插入图片描述
7、这是你刚刚配置过得第一个文件,需要再配置一处地方。

export HADOOP_HOME="/home/zz/aa/hadoop-3.3.0"

注意:此处路径相关

在这里插入图片描述

8、完成以上配置以后在如图所示的路径下打开终端

在这里插入图片描述
9、安装ssh

安装命令

sudo apt install ssh

在这里插入图片描述
10、生成相关内容

依次执行如下指令即可

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
ssh localhost

在这里插入图片描述
11、重置数据节点

bin/hdfs namenode -format

在这里插入图片描述
12、如果出现了下图所示的界面,则大概率是运行成功了,如果没有,那很可能是一开始的文件没配置好或者是路径不对,建议返回第一步重新开始。

在这里插入图片描述
13、启动集群

sbin/start-dfs.sh

注意我的命令行所在路径

14、启动成功后可以输入 jps 进行验证,如果结果和我的第二个框一样有很多行,则代表安装成功,如果只有一行,则返回第一步重新检查一遍,祝你好运。
在这里插入图片描述
当然,你也可以打开浏览器进行验证,启动集群以后打开浏览器,访问如图所示的网址,如果能成功找到网页,则代表安装成功

在这里插入图片描述
好的,hadoop 安装到此结束,点个关注不迷路。我们 下回再见。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hadoop是一个用于分布式存储和处理大规模数据的开源软件框架。下面是关于Hadoop安装使用和收获的一些建议和信息: 1. 安装Hadoop:在安装Hadoop之前,确保你的系统满足Hadoop的要求,比如Java环境和网络连接。然后,下载合适版本的Hadoop并按照官方文档提供的步骤进行安装和配置。 2. 配置Hadoop集群:在配置Hadoop集群之前,你需要了解Hadoop的基本组件和配置文件。主要包括核心组件(HDFS和YARN)以及相关的配置文件(如hdfs-site.xml和yarn-site.xml)。根据你的需求,调整这些配置文件以实现最佳性能。 3. 使用Hadoop:一旦你安装和配置好了Hadoop,你就可以开始使用它来处理大规模数据了。Hadoop提供了多种方式来处理数据,包括MapReduce编程模型、Hive和Pig等高级数据处理工具,还有Spark等基于Hadoop的框架。 4. 收获与问题解决:通过使用Hadoop,你可以处理大规模数据并从中获得一些收获。这些收获可能包括更好的数据分析、更准确的预测或更高效的资源利用。在使用Hadoop的过程中,你可能会遇到一些问题,比如性能调优、故障排除等。要善于使用Hadoop社区和相关文档来解决这些问题。 总之,安装使用Hadoop需要一定的技术知识和经验,但它可以为你提供处理大数据的强大能力和灵活性。希望以上信息对你有帮助!如果你还有其他问题,请随时问我。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

❀周周~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值