CDH Spark2 The CSD version is not compatible with the current

最新推荐文章于 2022-04-06 17:38:55 发布
最新推荐文章于 2022-04-06 17:38:55 发布
阅读量167 收藏
点赞数
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miaoge_miaoge/article/details/121755388
版权

在替换Spark2.1到Spark2.2的时候，按照网上的教程操作了一遍，遇到了一个小问题，启动的时候日志包了一个小错误：The CSD version (2.1.0.cloudera3) is not compatible with the current，耗了一段时间，是关于CSD包的问题。

Spark2.1与Spark2.2版本用到的CSD包不一样，我在官网下载，并且在CM节点/opt/cloudera/csd目录替换了，每次启动Spark History Server的时候，都报同样的错误。我找了好久。最后的解决方法是：

重启CM节点，然后重新安装Spark2，就解决了

班班v
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
适配CDH6.3.2的Spark3.2.2
08-16
Spark3.2.2是Apache Spark的一个重要版本，它提供了许多新特性和性能优化，而适配CDH6.3.2则意味着该版本的Spark已经经过了与Cloudera Data Hub (CDH) 6.3.2的兼容性验证。CDH是一个流行的Hadoop发行版，包含了...
spark-3.2.2-bin-3.0.0-cdh6.3.2
10-20
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql
Plugin ‘MyBatis Log Plugin‘ (version ‘2.1.3‘) is not compatible with the current version
qq_18102561的博客
08-03 4449
Plugin 'MyBatis Log Plugin' (version '2.1.3') is not compatible with the current version of the IDE, because it requires build 193.* or older but the current build is IU-203.6682.168 插件MyBatis Log Plugin 版本不兼容。 解决方法：file文件-->settings-->Plugins搜索Myb
Android Studio安装插件提示Plugin is not compatible with the current version的一种解决方法
到此一游
04-06 8856
最近想要给Android Studio安装Android Size Analyzer这个插件，当前Android Studio版本如下： Android Studio Bumblebee | 2021.1.1 Patch 2 //Build #AI-211.7628.21.2111.8193401 结果到插件市场搜索不到，只好到github仓库https://github.com/android/size-analyzer/releases/tag/v0.3.1下载jar包，选择从磁盘安装，结果安装时
GeForce RTX 3070 with CUDA capability sm_86 is not compatible with the current PyTorch.
一只小菜鸟的博客
10-11 976
此前一直使用tensorflow2 最近入坑pytorch 配置环境时出现 GeForce RTX 3070 with CUDA capability sm_86 is not compatible with the current PyTorch. 按照我之前的教程，ubuntu20.04 配置pytorch深度学习环境 + SSD目标检测_一只小菜鸟的博客-CSDN博客_ubuntu配置pytorch环境总体流程没毛病，就是显卡过新，CUDA和Pytorch的安装需要注意。 按照官网提示:S
VS Code无法安装插件之Unable to install because, the extension '' compatible with current version
红星的专栏
02-27 2万+
问题 在深度系统（Deepin）下使用VS Code 1.33.1时，因为需要远程开发，需要安装Remote Development插件，但是提示下面的错误： Unable to install because, the extension 'ms-vscode-remote.vscode-remote-extensionpack' compatible with current version ...
Spark多版本问题：Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set
GulfMoon
02-22 2042
一、问题背景 Shell脚本A中编写了提交Spark作业的命令（spark-submit ...），Shell脚本B作为统一调度脚本中间调用了脚本A，但是作业并没有提交yarn，查看日志信息如下： Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set 二、分析过程 1. 查看Spark当前版本...
CDH上安装spark2的操作说明
11-16
### CDH上安装Spark2的操作说明 #### 一、引言 随着大数据处理技术的不断发展，Apache Spark作为一款快速、通用的大数据处理引擎，在实际应用中的需求也日益增长。为了更好地利用Spark的强大功能，有时我们需要在...
spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.zip
04-23
".parcel"文件是Cloudera的部署单位，包含可分发的软件组件，"SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel"即是Spark 2.4.0的 parcel 文件，用于在CDH集群中安装和管理Spark。".parcel.sha"文件是...
CDH6.3.2之升级spark-3.3.1.doc
最新发布
03-06
### CDH6.3.2升级Spark至3.3.1详细步骤与注意事项 #### 一、背景介绍 在CDH6.3.2中，默认的Spark版本为2.4.0。为了满足更高的性能需求及功能扩展，本文将详细介绍如何将Spark升级至3.3.1版本的过程。此次升级的...
CM记录-升级Spark版本到2.x（转载）
weixin_30505485的博客
11-22 66
①csd包：http://archive.cloudera.com/spark2/csd/ 下载SPARK2_ON_YARN-2.2.0.cloudera1.jar ②parcel包：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/下载 SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.14...
0577-5.16.1-使用Cloudera Manager配置自定义csd目录异常
Hadoop_SC的博客
11-10 993
1 文档编写目的 自定义服务描述符(custom service descriptor，CSD)是Cloudera Manager用来描述某个产品的，比如Spark2，CDSW或者Kudu，包括Fayson在以前的文章中介绍过的自定义Livy的Parcel包，参考《0387-如何打包Livy和Zeppelin的Parcel包》。一个产品想集成到Cloudera Manager，必须具备csd文件，...
关于Cloudera Hadoop的安装（CentOS）- 官文标注（待完成）
Cyclist's sightseeing
06-19 1919
CDH 5 and Cloudera Manager 5 Requirements and Supported Versions In an enterprise data hub, Cloudera Manager and CDH interact with several products such as Apache Accumulo, Apache Impala (incubatin
制作Livy的Parcel包和csd文件
storm_fury
04-09 3284
配置java，maven等环境变量 java: export JAVA_HOME=/usr/local/java export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH maven: export MVN_HOME=/usr/local...
解决pytorch capability sm_86 is not compatible with the current PyTorch installation 问题
热门推荐
a563562675的博客
12-01 5万+
问题描述 当使用比较新的显卡（比如NVIDIA GeForce RTX 3090）时，由于显卡的架构比较新，可能旧版本的pytorch库没有支持到。这时候就会出现capability sm_86 is not compatible的问题，同时根据输出可以看到 The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70 sm_75当前pytorch只能支持上面几种架构。 问题解决 最常见的解决方式是升级Pytor
成功解决⑧NVIDIA安装程序无法继续 此NVIDL驱动程序与此Windows版本不兼容。 此图形驱动程序无法找到兼吝的图形硬件。
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-30 1万+
成功解决⑧NVIDIA安装程序无法继续 此NVIDL驱动程序与此Windows版本不兼容。 此图形驱动程序无法找到兼吝的图形硬件。 目录 解决问题 解决思路 解决方法 解决问题 https://www.nvidia.com/Download/Find.aspx?lang=en-us 解决思路 解决方法 ...
vscode 遇到的迷之bug nvm is not compatible with the npm config "prefix"
solocao的专栏
10-26 1841
mac升级系统后，发现每次打开vscode，在命令栏TERMINAL中都会出现不识别npm，把vscode重新安装后，还是不行。 最后，在万能的git上找到了解决方法，之前出错的原因使因为我曾经使用brew install node安装过node，而显示是使用nvm安装的node。只需要把之前的node删除掉，就可以了。 rm -R /usr/local/lib/node_modules/npm...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值