CDH5.13.3集成Spark2.4.0

最新推荐文章于 2024-02-21 09:34:02 发布
最新推荐文章于 2024-02-21 09:34:02 发布
阅读量721 收藏
点赞数
分类专栏： 大数据 文章标签： spark hadoop cloudera 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33022765/article/details/114761725
版权
本文档详细介绍了如何在CDH5.13.3环境下集成Spark2.4.0，包括下载CSD和parcel包，停启服务，安装激活，配置优化以及常见错误处理。测试了本地和YARN模式，提供了解决YARN资源限制和配置文件缺失等错误的方法。
摘要由CSDN通过智能技术生成

CDH5.13.3集成Spark2.4.0

目录

写在前面

本次测试环境：

  • 操作系统：CentOS 7.4
  • CM/CDH版本：CM5.15.2/ CDH5.13.3

Spark1的版本在CDH已经集成，但Spark2并未集成，本方案适用于在CDH5.13.3下集成Spark2

一. 安装准备

1. 下载csd包

下载地址为http://archive.cloudera.com/spark2/csd/
在这里插入图片描述

2. 下载parcel包

下载地址为http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/
在这里插入图片描述
特别注意：

  1. 下载对应版本的包，我的CentOS7，所以下载el7的包，若是CentOS6，就要下el6的包。
  2. csd和parcel包会有.clouderal1和.clouderal2之分，下载parcel时注意下载对应的包。即如果下载到的是.clouderal1的csd包，下载parcel包也要下载文件名中是.clouderal1的包，不能下载.clouderal2的包，同时csd2.0的包也不能用于parcel2.1的包，不然很可能安不上。

二. 开始安装

1.安装前可以停掉集群和Cloudera Management Service

在这里插入图片描述
下面的操作在每个CDH节点都要进行。

3.上传CSD包到每台服务器上的/opt/cloudera/csd目录，并且修改文件的用户和组。

cd /opt/cloudera/csd
chgrp cloudera-scm SPARK2_ON_YARN-2.4.0.cloudera2.jar
chown cloudera-scm SPARK2_ON_YARN-2.4.0.cloudera2.jar

4.上传parcel包到机器的/opt/cloudera/parcel-repo目录下。

  • SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
  • SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha
  • manifest.json

5.如果刚刚没有停掉CM和集群，现在将他们停掉。然后运行命令。

/opt/cm-5.13.3/etc/init
最低0.47元/天 解锁文章
网红猪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
CDH之CDS部署与测试：CDH 部署Spark2.4.0（Centos7.2 | CDH5.16.1 | Spark2.4.0）
muyingmiao的专栏
10-24 619
0 CDH的Spark CDH上面Spark的版本都是1.6的版本1.查看官网部署文档https://docs.cloudera.com/documentation/spark2/latest.html 官网给出的一些建议和前置条件，https://docs.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.ht...
spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.zip
04-23
spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6
实现CDH支持Spark SQL功能
热门推荐
sunyang098的博客
08-11 1万+
CDH内嵌spark版本不支持spark-sql,可能是因为cloudera在推自己的impala；如果上线spark却不能使用sql这种结构化语言，对于大部分分析人员其实是很不爽的！so，就手动实现支持spark-sql的功能吧 1.下载spark的包 http://www.apache.org/   -》    右上角download   -》 HTTP  http://apach
CDH集成Spark2
寒暄的博客
06-12 570
下载组件 CDH5.12默认集成spark1.6，更换为spark2需要下载四个文件： SPARK2_ON_YARN-2.2.0.cloudera1.jar http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera1.jar SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-xenial.parcel http://archive.cloudera.com/spark2/parce
CDH5.15集成spark2
阿正的博客
03-22 430
参考： https://blog.csdn.net/Johnzhc/article/details/81698525 https://blog.csdn.net/lin443514407lin/article/details/84650963 https://blog.csdn.net/huhaiyang9180/article/details/83212996 http://www.sk...
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
03-10
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0下载
适配CDH6.3.2的Spark3.2.2
08-16
在CDH6.3.2中集成Spark3.2.2，用户可以利用Spark的新功能来提升大数据处理的效率和灵活性。以下是关于Spark3.2.2的一些关键知识点： 1. **DataFrame/Dataset API**：Spark3.2.2继续强化了DataFrame和Dataset API，...
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
03-10
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7 SHA下载
CDH5.13.3资源下载
04-14
CDH5.13.3资源下载
CDH6.3.2添加spark-sql
丰耳的博客
02-18 5134
前言 众所周知，CDH为了推自家的Impala，阉割掉了Spark的spark-sql工具，虽然很多时候我们并不需要spark-sql,但是架不住特殊情况下有使用它的时候，这个根据项目或者团队（个人）情况而异。我这边就是因为项目原因，需要使用spark-sql，因此从网上各种查资料，折腾了好几天，最终在CDH集群上集成了spark-sql，以下操作并不能保证百分百适配你的环境，但思路可供借鉴。 集成步骤 下载Apache-spark2.4.0 因为CDH6.3.2使用的Spark版本是2.4.0,为了避免使
CDH上安装spark2的操作说明
11-16
CDH安装SPark2的方法 可以同时安装CDH的默认spark以及最近的spark2
CDH6.2安装spark集群基础环境
最新发布
qq_24141759的博客
02-21 1150
cdh6.2搭建spark集群，运行spark任务。
cdh6.x 集成spark-sql
涤生大数据
07-28 2192
cdh spark-sql
CDH 5.12.0 中使用 spark 2.4.2
weixin_30439131的博客
05-07 172
CDH 5.12.0 默认spark使用1.6.0，虽然spark 1.6.0支持DataFrame，但显得有点版本过旧。需要在cdh 5.12中使用spark 2.X版本，网上搜索了一圈，基本都是都是通过parcels方式进行安装，官方也推荐这种方式。本人比较懒，所以就想Apache spark原生版本是否直接支持CDH呢？经过测试完美支持。简单记录一下步骤： 1、下载原生apach...
CDH-6.3.2内置spark-2.4.0的BUG
第一片心意的博客
03-05 1829
CDH-6.3.2内置spark-2.4.0的BUG
基于CentOS 7.2的CDH 6.3.2 Spark完整安装
SmallScorpion
09-24 1601
基于CentOS 7.2的CDH6.3.2离线安装 https://blog.csdn.net/qq_40180229/article/details/108755530 基于CentOS 7.2的CDH 6.3.2完整集群添加 https://blog.csdn.net/qq_40180229/article/details/108756561 基于CentOS 7.2的CDH 6.3.2 Hadoop配置 https://blog.csdn.net/qq_40180229/article/details
CDH5适配spark3.0集成kyuubi详细教程
weixin_44957036的博客
06-22 1917
例如：随着spark的更新迭代，已经官网编译好的版本已经不支持低版本的hive了，由于公司需要使用到网易的开源组件kyuubi，而公司的生产环境还是CDH5，hive版本为1.1.0，所以需要重新编译spark3，对低版本hive进行适配。链接: 自编译Spark3.X，支持CDH 5.16.2(hadoop-2.6.0-cdh5.16.2) 链接: Kyuubi实践 | 编译Spark3.1以适配CDH5并集成Kyuubi 链接: 使用spark源码脚本编译CDH版本spark 二、环境安装 1.mave
关于CDH集群spark的三种安装方式简述
aet62619251的博客
09-04 1318
一、spark的命令行模式 1.第一种进入方式：执行 pyspark进入，执行exit()退出 注意报错信息：java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the (最大阈值)max threshold (1024 MB) of this clust...
编译适合CDH6.3.2的spark3.3.2
weixin_45441077的博客
08-16 1526
自编译适合CDH6.3.2的spark3.2.2
spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel下载
07-27
下载spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel的步骤如下： 1. 打开浏览器，进入Cloudera官方网站（https://www.cloudera.com/）。 2. 在网站上找到“产品与服务”或类似的选项，并点击进入。 3. 在产品与服务页面，找到Spark分布式计算框架，点击进入Spark的相关页面。 4. 在Spark页面中，找到版本2.4.0的下载选项，并点击进入。 5. 在Spark 2.4.0版本的下载页面，浏览列表，找到适用于您操作系统的版本，这里是cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel。 6. 点击相应版本的下载链接，并等待下载完成。 请注意，下载过程可能需要登录Cloudera网站或提供一些额外的信息。确保您完成了所有必需的步骤，并遵循官方网站的指示来全面下载spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值