escheduler 出现$HADOOP_HOME 异常

最新推荐文章于 2023-12-26 16:43:31 发布
最新推荐文章于 2023-12-26 16:43:31 发布
阅读量210 收藏
点赞数
分类专栏： easyscheduler
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/teak_on_my_way/article/details/102778048
版权

在shell中执行hive等相关命令，出现环境变量的问题

[INFO] 2019-10-28 11:23:19.624 cn.escheduler.server.worker.log.TaskLogger:[178] - [taskAppId=TASK_5_36148_38619] -> Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path

在这里插入图片描述
通过查看配置文件路径
在这里插入图片描述
发现escheduler 的shell默认执行环境会添加HADOOP相关配置，修改.escheduler_env.sh 配置文件就能够获取环境变量。
默认环境变量可以与实际环境变量有所差异，故需要修改。

teak_on_my_way
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pc机连接集群的HADOOP_HOME
12-14
pc机连接hadoop集群必须的文件，把它放到本地，然后配置到环境变量中，才能在本地操作集群。
Escheduler调度系统修改数据库MySQL为Postgres
zwahut的专栏
07-16 801
为了统一使用的数据库为postgres，所以现在对开源项目Escheduler做一些修改，把MySQL数据库改为Postgres。 具体步骤，和遇到的问题及解决办法记录如下： 说一下思路，直接改代码也不清楚改哪里，我是在已经安装好的情况下，修改了配置文件，然后重启服务，看日志，根据日志报错情况再具体问题具体解决。解决问题的话是改源代码，然后再编译安装，再查看日志有没有报错，中间反复很多次。测试...
DolphinScheduler安装部署
AnameJL的博客
08-10 8955
DolphinScheduler调度工具安装部署
dolphinscheduler3.2.0快速搭建
最新发布
qq_42396440的博客
12-26 431
需要准备的安装包：jdk 1.8.0_212、dolphinscheduler 3.2.0，其余使用docker部署。
logback基本配置详解
草木皆灰
11-26 3603
logback是java的日志开源组件，是log4j创始人写的，性能比log4j要好，目前主要分为3个模块 logback-core:核心代码模块 logback-classic:log4j的一个改良版本，同时实现了slf4j的接口，这样你如果之后要切换其他日志组件也是一件很容易的事 logback-access:访问模块与Servlet容器集成提供通过Http来访问日志的功能 本篇博客会讲解...
工作流任务调度系统：Apache DolphinScheduler
热门推荐
Yore - Home
11-02 7万+
Apache DolphinScheduler（目前处在孵化阶段，原名为EasyScheduler）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。本文对DolphinScheduler做了简要的概述，并详细讲解了其安装，通过简单的例子快速开始并使用。最重要的是Worker分组和数据源的添加，以及与Azkaban的对比。
hadoop_join.jar.zip_hadoop_hadoop query_reduce
09-20
The Joins query by using Hadoop and map reduce
hadoop_class-master.zip_Master Class_hadoop_社交
09-24
部分简单hadoop代码,包括社交三角形统计、倒排索引等
hadoop_dll_winutil_2.7.3_x64.zip
11-16
windows 64位下hadoop2.7.3搭建环境所需的hadoop.dll及winutil.exe等
mapred.zip_hadoop_hadoop mapreduce_mapReduce
09-20
hadoop mapreduce测试样例，文档，源码
dolphinscheduler2.0.3搭建+Kerberos+hadoop结合
h952520296的博客
01-29 2934
dolphinscheduler官网只是给出了搭建方式 具体使用中需要和hdfs结合的话需要配置更多参数 如果配置了数据目录不会自动创建，记得自己手动创建一下 例子 data.basedir.path=/data/dsdata 搭建完成之后的配置存放在 conf下的 common.properties 中 初步搭建完成之后可以修改这里的配置来进行调整 跟hadoop有关需要调整的配置有下面几个 不配置kerberos的话只需要这几个 # resource storage type: HDF
一次easyscheduler报错及解决
曹健的博客
12-16 531
起因：重装easyscheduler之后，sqoop任务报如下错误： [INFO] 2019-12-16 10:50:45.943 cn.escheduler.server.worker.log.TaskLogger:[178] - [taskAppId=TASK_11_4005_15340] -> Error: /opt/soft/hadoop does not exist! Pl...
开源分布式工作流任务调度系统EasyScheduler自定义任务插件开发
数据之路
06-13 1303
任务插件开发 提醒:目前任务插件开发暂不支持热部署 基于SHELL的任务 基于YARN的计算（参见MapReduceTask） 需要在 cn.escheduler.server.worker.task 下的 TaskManager 类中创建自定义任务(也需在TaskType注册对应的任务类型) 需要继承cn.escheduler.server.worker.task 下的 AbstractYar...
logback配置详解 & 原理介绍
u013332124的专栏
09-01 1万+
logback是java的日志开源组件，是log4j创始人写的，性能比log4j要好，目前主要分为3个模块 logback-core:核心代码模块 logback-classic:log4j的一个改良版本，同时实现了slf4j的接口，这样你如果之后要切换其他日志组件也是一件很容易的事 logback-access:访问模块与Servlet容器集成提供通过Http来访问日志的功能 本篇博客会...
大数据平台调度系统-EasyScheduler
CD
07-15 5815
大数据平台离不开调度系统。大数据平台工作流系统主要分为两类： 1.静态工作流执行列表 2.动态工作流执行列表 静态工作流根据作业计划提前生成并持久化任务执行列表，代表有：oozie , azkaban,airflow。 oozie , azkaban,airflow 这三个调度系统都是基于文件配置固化工作流形成DAG。oozie使用xml文件描述任务，支...
dolphinscheduler涉及HDFS功能测试（二）资源中心、SQOOP、MR(MapReduce)
03-12 6642
资源中心 SQOOP MapReduce 问题记录与解决
java.lang.IllegalStateException: Fatal Exception thrown on Scheduler.Worker thread.
yuerliang的专栏
09-12 1092
java.lang.IllegalStateException: Fatal Exception thrown on Scheduler.Worker thread.
Apache DolphinScheduler集群部署方案
数据之路
02-25 4255
集群部署(Cluster) DolphinScheduler集群部署分为后端部署和前端部署两部分： 1、后端部署 1.1 : 基础软件安装(必装项请自行安装) PostgreSQL (8.2.15+) or Mysql (5.6或者5.7系列) : 两者任选其一即可 JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量 ZooK...
hadoop 3.2.1 Yarn集群HA搭建及踩坑记录
半斤米粉闯天下的博客
02-27 3007
接上篇，hdfs集群启动后仅仅是一个分布式文件系统而已，并不具备计算的能力，因此引出yarn，记录一下yarn HA的搭建过程。 首先需要注意一点，Yarn与HDFS属于两个不同的集群，一个负责文件存储，一个负责作业调度，二者之间没有必然关系，也不一定说Yarn的某些节点必须必须要放在datanaode上。通常会把nodemanager和datanode放在一起是因为要“计算向数据移动”，尽可能...
hive Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path
06-10
您需要设置$HADOOP_HOME或$HADOOP_PREFIX环境变量，或者将Hadoop添加到系统的路径中。以下是一些解决方法： 1. 设置$HADOOP_HOME或$HADOOP_PREFIX环境变量： 在终端中输入以下命令，将Hadoop安装路径设置为$HADOOP_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值