二，完成用户创建，激活及插件的上传，配置

已于 2023-06-30 11:00:07 修改
阅读量435 收藏
点赞数
分类专栏： Hadoop 文章标签： linux 服务器 运维
于 2022-09-20 21:29:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58837191/article/details/126937958
版权

目录

 

2.1完成hduser用户的创建，激活

2.2完成插件的上传，解压配置

2.2.1. 查看插件是否上传成功

2.2.2.将当前账户目录下的 "hadoop-3.1.2.tar.gz  jdk-8u211-linux-x64..gz"文件解压

 2.2.3.完成用户切换

 2.2.4.完成文件夹的移动

 2.2.5 完成用户退出

 2.2.6编辑当前账户的配置文件

2.2.7 测试插件是否正常

2.3完成真集群配置文件编辑

2.3.1 编辑配置文件1.编辑“hadoop-env.sh”文件。

2.3.2 编辑“yarn-env.sh”文件。

2.3.4 编辑“core-site.xml”文件。

2.3.5 编辑“hdfs-site.xml”文件

2.3.6编辑“yarn-site.xml”文件。

2.3.7编辑“mapred-site.xml”文件

2.3.8编辑“workers”文件

 

2.1完成hduser用户的创建，激活

[root@master ~]# ls /home/
[root@master ~]# useradd hduser
[root@master ~]# ls /home/
[root@master ~]# passwd hduser
[root@master ~]# su hduser
[hduser@master root]$

2.2完成插件的上传，解压配置

0c3bfdaee05b402c9ad4b9dcb6fb3ec0.png

 

4e3d72ce7c9e497d8b232a419d1762dd.png

2.2.1. 查看插件是否上传成功

bc13459c504541fabf9df29026624217.png

2.2.2.将当前账户目录下的 "hadoop-3.1.2.tar.gz  jdk-8u211-linux-x64..gz"文件解压

[hduser@master ~]$ tar -zxvf jdk-8u211-linux-x64..gz
[hduser@master ~]$ tar -zxvf hadoop-3.1.2.tar.gz

1985ee972f294723b06c06f73b1e9f83.png

 2.2.3.完成用户切换

命令行：su 

5ee4758d4879469b990c0471925a4b52.png

 2.2.4.完成文件夹的移动

命令行：

[root@master hduser]# mkdir /usr/java
[root@master hduser]# mv jdk1.8.0_211 /usr/java/
[root@master hduser]# mv hadoop-3.1.2  hadoop3

 a2b114ebf2c14a0f9eb98d4085fe8ff8.png

 2.2.5 完成用户退出

命令行：exit

3bdcf09cea3a4f4fb0062f4c4ac831db.png

 2.2.6编辑当前账户的配置文件

[hduser@master ~]$ vi .bash_profile  #在里面加入


export JAVA_HOME=/usr/java/jdk1.8.0_211    #设置Java主目录
export PATH=$JAVA_HOME/bin:$PATH      #加入path路径




export HADOOP_HOME=$HOME/hadoop3
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native:$HADOOP_COMMON_LIB_NATIVE_DIR"
export YARN_HOME=$HOME/hadoop3
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#export YARN_CONF_DIR=$YARN_HOME/etc/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=.:$JAVA_HOME/lib:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH



[hduser@master ~]$ source .bash_profile   #重新加载当前账户的配置文件

2.2.7 测试插件是否正常

[hduser@master ~]$ hadoop version
[hduser@master ~]$ java -version

583ceeab5fba4b828de1a7d7f8424268.png

2.3完成真集群配置文件编辑

[master虚拟机]

2.3.1 编辑配置文件1.编辑“hadoop-env.sh”文件。

命令行：vi ~/hadoop3/etc/hadoop/hadoop-env.sh

添加内容：export JAVA_HOME=/usr/java/jdk1.8.0_2112.

2.3.2 编辑“yarn-env.sh”文件。

命令行：vi ~/hadoop3/etc/hadoop/yarn-env.sh

添加内容：export JAVA_HOME=/usr/java/jdk1.8.0_2113.

2.3.4 编辑“core-site.xml”文件。

命令行：

vi ~/hadoop3/etc/hadoop/core-site.xml

添加内容：

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hduser/hadoopdata</value>

</property>

</configuration>

注意：创建/home/icss/hadoopdata目录。

命令行：

mkdir ~/hadoopdata

2.3.5 编辑“hdfs-site.xml”文件

命令行：

vi ~/hadoop3/etc/hadoop/hdfs-site.xml

添加内容：
 

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<!--取消“访问控制检查”,保证WebUI模式可以进行文件上传-->

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

2.3.6编辑“yarn-site.xml”文件。

命令行：

vi ~/hadoop3/etc/hadoop/yarn-site.xml

添加内容：
 

** hadoop classpath获取参数mapreduce.application.classpath的value的值<configuration>

<property>

<name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>

<description>NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序。

</description>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:18040</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name><value>master:18030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name><value>master:18025</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name><value>master:18141</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name><value>master:18080</value>

</property>

<property>

<name>yarn.application.classpath</name><value>/home/hduser/hadoop3/etc/hadoop:/home/hduser/hadoop3/share/hadoop/common/lib/*:/home/hduser/hadoop3/share/hadoop/common/*:/home/hduser/hadoop3/share/hadoop/hdfs:/home/hduser/hadoop3/share/hadoop/hdfs/lib/*:/home/hduser/hadoop3/share/hadoop/hdfs/*:/home/hduser/hadoop3/share/hadoop/mapreduce/lib/*:/home/hduser/hadoop3/share/hadoop/mapreduce/*:/home/hduser/hadoop3/share/hadoop/yarn:/home/hduser/hadoop3/share/hadoop/yarn/lib/*:/home/hduser/hadoop3/share/hadoop/yarn/*</value>

</property>

</configuration>

2.3.7编辑“mapred-site.xml”文件

命令行：

vi ~/hadoop3/etc/hadoop/mapred-site.xml

添加内容：
 

** hadoop classpath获取参数mapreduce.application.classpath的value的值<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.application.classpath</name>

<value>/home/hduser/hadoop3/etc/hadoop:/home/hduser/hadoop3/share/hadoop/common/lib/*:/home/hduser/hadoop3/share/hadoop/common/*:/home/hduser/hadoop3/share/hadoop/hdfs:/home/hduser/hadoop3/share/hadoop/hdfs/lib/*:/home/hduser/hadoop3/share/hadoop/hdfs/*:/home/hduser/hadoop3/share/hadoop/mapreduce/lib/*:/home/hduser/hadoop3/share/hadoop/mapreduce/*:/home/hduser/hadoop3/share/hadoop/yarn:/home/hduser/hadoop3/share/hadoop/yarn/lib/*:/home/hduser/hadoop3/share/hadoop/yarn/*</value>

</property>

</configuration>

2.3.8编辑“workers”文件

命令行：

vi ~/hadoop3/etc/hadoop/workers

内容：
 

slave01

slave02

 

 

花猫面具
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
WebStorm mac激活以及开发插件
weixin_59727199的博客
12-14 1006
WebStrom 激活加插件
WordPress插件Ucenter&Market用户中心1.2版本商城附带模板
03-26
3. 在WordPress后台激活插件。 4. 配置插件设置，如积分规则、兑换商品、充值选项等。 5. 如果有新模板，还需要在外观设置中选择并应用。 需要注意的是，使用WordPress做论坛可能会遇到性能问题，因为论坛需要处理...
HBuilderX 插件开发指南（二）：插件开发细节 及 代码演示
拿回忆下酒
02-19 957
我们在中已经了解了 插件的细节，本期文章重点 将具体学习。
【Linux基础】vim配置及插件安装管理
C/C++软件工程师、嵌入式软件工程师、物联网研发工程师、C/C++讲师、物联网讲师、嵌入式讲师---欢迎大家一起交流(私信添加博主微信)
10-20 2881
1 写在前面   Linux下编程一直被诟病的一点是: 没有一个好用的IDE, 但是听说Linux牛人, 黑客之类的也都不用IDE. 但是对我等从Windows平台转移过来的Coder来说, 一个好用的IDE是何等的重要啊, 估计很多人就是卡在这个门槛上了, "工欲善其事, 必先利其器"嘛, 我想如果有一个很好用的IDE, 那些Linux牛人也会欢迎的. 这都是劳动人民的美好愿望罢了
Notepad++插件NppFTP安装使用及配置文件说明
huiyuanphe的专栏
05-18 1万+
1.下载NppFTP 2.把压缩文档中的bin目录下的两个文件解压到notepad++的plugin目录下 3.重新启动notepad++即安装成功 插件使用：   1.notepad++的“插件”菜单，鼠标悬停在“NppFTP”项上，在出来的下级菜单中选中“ShowNppFTP Window” 2.在notepad++右侧会出现一个窗口，此时此窗口工具栏上按钮都是灰色的，点击工具栏上
SonarQube中配置c语言/c++语言代码规则插件
Gblfy_Blog
12-06 3069
文章目录一、下载+安装+重新启动1. 下载文件2.安装3. 重新启动SonarQube4. SonarQube管控台验证二、SonarQube管控台配置2.1. 创建配置模板2.2. 添加规则2.3. 查看配置模板规则列表2.4. 修改默认语言规则应用2.5. C++配置流程同上 我是java出身,因为特殊需要,要用sonarqube做一套c代码静态检查工具,一脸迷茫… 在sonarqube中...
vscode实用配置、常用插件
筑释科长的博客
07-09 6809
在Files: Auto Save Delay中配置延迟保存的时间。在Files:Auto Save中 选择afterDelay。文件--首选项--设置--输入“自动保存”-
Idea必备插件、必要配置
拾一二的博客
01-17 1万+
一键生成xml、实体等与Free MyBatis plugin同类型的，但是没得Free MyBatis plugin好用，二选一就行将 mybatis sql 日志恢复为原始的整个可执行 sql。开发的项目一般都少不了日志系统，而我们在书写mysql语句的时候，参数的对应，往往有时候会忽略，mybatis自己控制的参数编译对应，个人感觉有点反人类，我们可以使用这个插件变成自己比较直观的对应。支持可配置的、类似。............
AutoDL使用教程：1）创建实例 2）配置环境+上传数据 3）PyCharm2021.3专业版下载安装与远程连接完整步骤 4）实时查看tensorboard曲线情况
热门推荐
孟孟单单的博客
09-28 12万+
AutoDL使用教程：1）创建实例 2）配置环境+上传数据 3）PyCharm2021.3专业版远程连接
vim配置及插件安装管理（超级详细）
浩海拾贝
01-28 8926
转自：https://www.cnblogs.com/snowbook/p/5923770.html   1 写在前面   Linux下编程一直被诟病的一点是: 没有一个好用的IDE, 但是听说Linux牛人, 黑客之类的也都不用IDE. 但是对我等从Windows平台转移过来的Coder来说, 一个好用的IDE是何等的重要啊, 估计很多人就是卡在这个门槛上了, "工欲善其事,...
Emlog用户注册插件_emlog注册插件_emlog_
09-30
它的主要功能包括文章发布、...对于站长来说，合理配置和优化这个插件，不仅可以吸引更多的用户，还能有效保障网站的安全性。在使用过程中，如果遇到任何问题，Emlog的官方论坛和社区通常会提供丰富的解决方案和支持。
WordPress插件：独立下载页面插件-Xydown二次开发美化版亲测可用
11-01
3. 激活插件后，访问“设置”->“Xydown”菜单，这里会列出插件的各种配置选项。你可以根据需要设置下载页面的样式、下载链接、页面模板等。 4. 要创建一个新的下载页面，可以创建一个新页面（或选择一个现有的），...
Bootstrap fileinput.js图片上传预览插件
12-23
Bootstrap fileinput.js是一款基于Bootstrap框架的文件上传与预览插件，它极大地丰富了网页中的文件选择和上传体验。这款插件不仅支持多文件选择，还提供了强大的图片预览功能，用户可以在上传前查看选定的图片，...
chrome自动填写表单插件
05-24
10. **发布与更新**：最后，了解如何将插件上传到Chrome Web Store，以及如何进行版本管理和更新通知。 综上所述，创建"chrome自动填写表单插件"需要掌握一系列Web开发技能，包括但不限于Chrome扩展开发、DOM操作、...
【持续集成_05课_Linux部署SonarQube及结合开发项目部署】
weixin_42333261的博客
07-12 146
前置条件：sonarQube不能使用root账号进行启动，所以需要创建普通用户及。3）CMD上传qube文件-不能传到home路径下哦。2）添加用户、组名、密码。4）检查并解压上传的包。
linux的学习（四）：磁盘，进程，定时，软件包的相关命令
最新发布
weixin_45037073的博客
07-14 778
关于磁盘管理，进程管理，定时任务，软件包管理的命令的使用。
Linux 安装 Docker Compose
m0_63004677的博客
07-12 300
Linux 系统安装 Docker Compose
【Linux】 GCC/G++与Makefile使用
Long_kin的博客
07-11 985
收藏向 使用解析
请创建一个自定义插件，实现一个登录页面
06-28
5. 最后，您可以将您的插件上传到WordPress插件目录，并在WordPress后台激活它。 希望这些步骤能够帮助您创建一个自定义插件来实现登录页面。如果您需要更多的帮助，请随时联系我。 回答2：</h3><br/>首先，我们...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

花猫面具

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值