hadoop cdh版本不一致报错问题

最新推荐文章于 2022-07-12 15:40:44 发布
最新推荐文章于 2022-07-12 15:40:44 发布
阅读量602 收藏
点赞数
分类专栏： 技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44175698/article/details/108343885
版权

如果在执行hadoop相关任务报如下类似错误

在这里插入图片描述
说明 项目的pom依赖中的3.0.0-cdh6.3.1版本的hadoop与集群所用的hadoop版本不一致，此时我们需要将项目中的pom修改，将hadoop依赖版本改为与集群上cdh版本一致的hadoop版本即可,然后重新打包部署即可

java版本不一致

在执行java程序时，报如下错误，即 Unsupported major.minor version 52.0
这种错误显然时java版本差距过大，可通过查看运行主机的java版本,然后更换更新的(我就遇到过服务器上装的时jdk1.7，而程序需要jdk1.8，打包部署到服务器,就报这个错误)

Hadoop100：大数据平台安装部署--CDH6.2版本【集群】
weixin_40612128的博客
02-02 6101
1：CDH介绍 CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 2：CDH现状分
Docker安装hadoop-cdh
weixin_40548182的博客
08-27 567
Docker安装hadoop-cdh 第1章 环境 1.1 操作系统及docker版本 Centos7 Docker服务器两台，overlay网络。私有docker registry 1.2 安装前准备 关掉防火墙和selinux 1.3 需要的安装包 jdk-8u181-linux-x64.tar.gz mysql-connector-java-5.1.47.tar.gz（去mysql官网下载，不一定非得是这个版本，详细版本参考java和mysql的jdbc对应图） consul_1.3.0_linux
在线HA集群HANA版本从122.01升级到122.05版本问题记录
qlf0302的专栏
03-01 1908
演练过程 1、查看集群及双hana机状态，确保正常，并进行备份 2、进入集群维护模式 # crm configure property maintenance-mode=on3、停止备机节点，并进行备机升级 4、备机升级完成后，手工执行hdbnsutil -sr_takeover进行hana主备切换（主要是备份） 5、停止主机节点，并升级主机几点的hana版本 6、手工执行takeover
cdh升级版本冲突
记录工作所遇问题及个人概念理解
10-12 136
cm升级版本为5.14.2，agent版本为5.13.3 yum list | grep cloudera 4.列出所有已安装的软件包 命令：yumlist installed 卸载5.14.2 yum remove cloudera-manager-agent.x86_64 5.14.2-1.cm5142.p0.8.el6 yum remove cloudera-manager-daemons.x86_64 5.14.2-1.cm5142.p0.8.el6 yum remove cloudera-m
CDH5.4.7安装Hadoop集群Java检查不一致
weixin_33714884的博客
11-21 340
应用场景 在用CDH5.4.7搭建Hadoop集群的时候，难免遇到一些错误，比如在检查主机的时候遇到各种报错等等。 解决方案 修改Java配置 # vim /usr/lib64/cmf/service/common/cloudera-config.sh J...
CENTOS 7.4 64Bit下 使用Cloudera Manager 安装 CDH 5.14.3
worldchinalee的博客
07-20 4023
1. 概述 本文根据官方安装文档的PathB 整理 CDH的搭建有多种方法，一般来说，都是先搭建Cloudera Manager, 然后利用Cloudera Manager搭建CDH，如果是测试环境，可以直接利用Cloudera Manager自动化安装，这种方式使用内嵌的PostgreSQL作为metadata等数据的存储，不适于生产环境。生产环境中一般会使用MariaDB, MySQL...
datanode 由于和namenode版本不一致无法启动问题
nieji3057的博客
07-21 1310
报错日志： Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to bigdata1/10.5.46.201:8022. Exiting. java.io.IOException: All specified directories are failed to ...
hadoop启动时datanode报错问题解决方案汇总
wangwei249的博客
04-26 1690
运行hadoop中wordcount时没有反应： 解决方案（关闭安全模式）： hadoop@ubuntu118:~/hadoop-1.0.2$ bin/hadoop dfsadmin -safemode leave hadoop@ubuntu118:~/hadoop-1.0.2$ bin/hadoop dfs -chmod -R 777 /tmp hadoop df
【大数据----Hadoop】CDH版Hadoop环境搭建
Sunny
06-06 2013
1.下载组件 首先去CDH网站上下载hadoop组件 地址：http://archive.cloudera.com/cdh5/cdh/5/ 注意版本号要与其他的组件CDH版本一致 2.环境配置 设置主机名和用户名 配置静态IP 配置SSH免密登录 配置JDK 3.配置HADOOP 1.新建用户hadoop，从root用户获取/opt文件夹的权限，所有节点都要执行 ...
CDH6报错解决全记录
sinat_28371057的博客
08-24 4646
一、服务器准备 1、服务器配置 准备3台服务器，建议最低配置如下（阿里云大约每台每月六百多）： centos7.4 8c 16G 39.101.192.109 node001 39.101.179.3 node002 39.99.236.205 node003 为服务器开启外网端口访问 7180、8900 2、下载安装包 把下面列出的共12个文件下载到一台文件服务器上 下载cdh文件到/var/www/html/cloudera-repos/目录 （1）https://archive.clou
flink-1.9.3-hadoop3.0.0-cdh6.2.1.tar.gz
06-10
资源是flink的编译包， Flink 编译和运行要求 Java 版本至少是 Java 8，且最好选用 Java 8u51 及以上版本，我选用的是java version "1.8.0_181"，源码是基于scala2.11，maven是3.2.5
龙晰操作系统安装CDH版本匹配问题解决
u010648107的专栏
07-12 3556
龙晰操作系统安装CDH Centos版本时，安装失败，提示： 一个或者多个主机没有报告其操作系统分配。这可能是由于运行已过期的Cloudera Manager Agent版本造成的。请运行Host Inspector检查Agent版本。
Ubuntu安装CDH及可能遇到的问题解决
qq_32027689的博客
05-09 1420
1. 安装前的准备工作我采用的是使用CM 5.14.0来安装CDH，因此只讲这一种。目前，根据官方给的文档所给出的数据，支持的各个环境最新版本如下：Ubuntu 16.04jdk 1.8u144mysql 5.7python2.4以上 不支持python3同时为了以防万一，全程采用root用户安装。修改主机名：gedit /etc/hostname 在打开的文件中写入主机名我的主节点是cdhmas...
安装CDH时候出现主机运行状态不良情况的解决
Gavin博客专栏
07-01 2万+
> 发现很多兄弟在安装CDH过程的分配这一步，总是遇到“主机运行状态不良”的提示，当然我也遇到过。 解决办法就是，根据自己安装的cm版本来删除文件,我的路径是： rm -f /opt/cloudera-manager/cm-5.11.1/lib/cloudera-scm-agent/cm_guid 如果是多节点，则需要删除每个agent节点的这个文件。 进入到
druid 和 CDH关于hadoop版本不兼容问题
大树叶 技术专栏
07-17 885
如果druid的hadoop版本和CDH带的版本不一致，则在MR，比如Hadoop-based Batch Ingestion则有可能报错，解决方法是： 在middle mgr runtime.properties 配置中加入如下信息： -Dhadoop.mapreduce.job.classloader=true -DHADOOP_USER_NAME=hdfs ...
hadoop本地库与系统版本不一致引起的错误解决方法
热门推荐
东杰书屋
04-25 3万+
部署hadoop的集群环境为   操作系统 centos 5.8     hadoop版本为cloudera   hadoop-0.20.2-cdh3u3 集群中设置支持gzip lzo压缩后，在对压缩文件进行读取或者对输入文件压缩的时候要使用到hadoop的本地库，本地库的默认位置在 $HADOOP_HOME/lib/native/Linux-amd64-64   (64位操作系统)
CentOS 7 下 Cloudera 6.3.1 安装 Hadoop 集群
wangzan18的博客
09-06 803
一、软件介绍 1、CDH 概览 CDH（Cloudera Distribution of Apache Hadoop） 是 Apache Hadoop 和相关项目中最完整、经过测试和流行的发行版。CDH 提供 Hadoop 的核心元素，可伸缩存储和可扩展分布式计算，以及基于 web 的用户界面和关键的企业功能。CDH 是 apache 授权的开放源码，是惟一提供统一批处理、交互式 SQL 和交互式...
运行spark及hadoop版本不一致解决方法
weixin_37979944的博客
12-05 1万+
版本问题解决方法
编译 CDH-6.3.1 版本的 Flink 1.10
mhtc5052的博客
02-28 2990
Apache Flink官网下载安装包不能支持CDH，需要编译后进行安装，参照网上很多资料，尝试了多天，终于成功，供大家参考。 1、环境 Jdk 1.8、centos7.6、Maven 3.6.2和Scala-2.12 2、源码和CDH 版本 Flink 1.10.0 、 CDH 6.3.1(Hadoop 3.0.0) 3、配置maven源 <mirrors> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值