启动Hadoop/HDFS

在配置了Hadoop之后,要进行启动

 

启动HDFS:第一次执行的时候一定要格式化文件系统,后面不要重复执行

在hadoop的bin目录下

$ hdfs namenode -format

说明格式化成功了

 

此时在tmp目录下有了文件了,之前没有的

 

启动集群

到sbin目录下

$ ./start-dfs.sh

出现的Warning不用管,然后会有一个让你输入yes/no的过程,输入yes

 

Hadoop刚开始启动的时候是会进入到safemode安全模式的,这个时候HDFS是不能进行写操作的,等很快就会自动切换到关闭安全模式

 

验证

启动之后如果jps看到有三个进程就是启动成功了

 

第二种验证方式,在浏览器输入  ip地址:50070

(首先要设置防火墙关闭)

 

停止集群

sbin目录下

$ ./stop-dfs.sh

 

 

start/stop-dfs.sh与hadoop-daemons.sh的关系

start-dfs.sh = 

      hadoop-daemons.sh start namenode

      hadoop-daemons.sh start datanode

      hadoop-daemons.sh start secondarynode

stop-dfs.sh 也是一样 

     

 

 

### Hadoop YARN 中 `yarn.application.classpath` 配置项的作用 在 Hadoop YARN 中,`yarn.application.classpath` 是一个重要的配置参数,用于定义应用程序可以访问的类路径(classpath)。此配置项的主要作用是确保 YARN 上运行的应用程序能够找到所需的库文件和依赖项。具体来说: - **作用**: 此配置项指定了一组默认的类路径,这些路径会被添加到所有提交给 YARN 的应用程序的类加载器中[^1]。这使得用户无需手动提供所有的依赖库即可正常运行作业。 - **值的组成**: 类路径通常由多个目录或 JAR 文件路径组成,通过逗号分隔。常见的路径包括但不限于以下内容: - `$HADOOP_CONF_DIR`: 存储 Hadoop 和 YARN 配置文件的目录。 - `$HADOOP_COMMON_HOME/share/hadoop/common/*`: 包含通用模块的 JAR 文件。 - `$HADOOP_HDFS_HOME/share/hadoop/hdfs/*`: 包含 HDFS 相关模块的 JAR 文件。 - `$HADOOP_YARN_HOME/share/hadoop/yarn/*`: 包含 YARN 相关模块的 JAR 文件。 - `$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*`: 包含 MapReduce 相关模块的 JAR 文件。 以下是典型的 `yarn.application.classpath` 值示例: ```properties $HADOOP_CONF_DIR, $HADOOP_COMMON_HOME/share/hadoop/common/*, $HADOOP_COMMON_HOME/share/hadoop/common/lib/*, $HADOOP_HDFS_HOME/share/hadoop/hdfs/*, $HADOOP_YARN_HOME/share/hadoop/yarn/*, $HADOOP_YARN_HOME/share/hadoop/yarn/lib/* ``` 上述路径中的通配符 (`*`) 表示该目录下的所有 JAR 文件都会被包含在类路径中[^4]。 --- ### 如何验证配置是否生效? 可以通过以下方式确认 `yarn.application.classpath` 是否正确设置并生效: 1. 使用命令 `yarn classpath` 查看当前有效的类路径列表。 2. 提交一个简单的测试任务(如 WordCount),观察日志中是否有找不到依赖的错误提示。 如果发现某些必要的库未被加载,则可能需要调整 `yarn-site.xml` 文件中的 `yarn.application.classpath` 参数,并重新启动 YARN 服务以使更改生效。 --- ### 示例代码:修改 `yarn-site.xml` 并重启 YARN 编辑 `yarn-site.xml` 文件,添加或更新如下属性: ```xml <property> <name>yarn.application.classpath</name> <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*</value> </property> ``` 保存后执行以下操作以应用新配置: ```bash # 刷新 YARN 配置 sudo systemctl restart hadoop-yarn-resourcemanager.service sudo systemctl restart hadoop-yarn-nodemanager.service ``` 或者直接使用脚本停止再启动 YARN: ```bash stop-yarn.sh start-yarn.sh ``` --- ### 注意事项 - 如果集群中有自定义开发的任务或第三方工具集成需求,需额外将相关依赖加入到 `yarn.application.classpath` 中[^3]。 - 当前版本为 Hadoop 3.4.0,不同版本间的默认类路径可能会有所差异,请根据实际环境进行适配。 --- ####
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值