[Spark升级]--在CDH-5.10.0中添加spark2(未添加Kerberos认证)

最新推荐文章于 2024-07-31 17:36:10 发布
最新推荐文章于 2024-07-31 17:36:10 发布
阅读量3k 收藏 2
点赞数 2
分类专栏： Spark CDH & HDP 文章标签： spark2 cdh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/high2011/article/details/79138493
版权
该博客详细介绍了如何在CDH-5.10.0环境下，不使用Kerberos认证进行Spark2的升级过程。包括环境准备、创建目录、添加parcels、激活Spark2、重启集群和cloudera-scm-server、添加Spark2服务以及测试Spark2的步骤。提供了多个参考资料链接以供进一步学习。
摘要由CSDN通过智能技术生成

 

一、环境准备

 

jdk-1.8+scala-2.11.X+python-2.7

二、创建目录

 

mkdir -p /opt/cloudera/csd

 

修改权限

chown cloudera-scm:cloudera-scm   /opt/cloudera/csd

 

获取csd(放到/opt/cloudera/csd目录)

wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar

 修改组权限和用户权限

chgrp cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera2.jar
chown cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera2.jar

三、添加parcels

了解本专栏 订阅专栏 解锁全文 超级会员免费看
往事随风ing
关注
专栏目录
订阅专栏
CDH5.14安装文档(包含spark2和kafka的安装)
03-30
CDH5.14安装文档(包含spark2和kafka的安装)
cdh5.14.2安装spark 2.3.0parcel包
说文科技，做有态度的研究。
07-20 2088
cdh5.14.2安装spark 2.3.0parcel包 CDH官网介绍地址：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_packaging.html 下载parcel包 http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/SPARK...
CDH6.2安装spark集群基础环境
最新发布
hxsln11的博客
07-31 86
在yarn配置项中搜索“yarn.nodemanager.resource.memory-mb”，修改为服务器的一半（测试环境），生产环境例如128G 调整为100G左右。关闭 检查HDFS权限的原因（详情参照https://blog.csdn.net/Yellow_python/article/details/125007739）原文链接：https://blog.csdn.net/qq_24141759/article/details/136203104。cdh001上安装server。
CDH 5.14安装Spark2服务
bigdataprimary的博客
02-12 919
由于默认的Spark版本为1.6，开发任务需要Spark2所以记录一次Spark2的安装。 一、JDK1.8 集群的JDK版本升级，Spark2需要JDK1.8来支持 下载 JDK1.8 上传到/usr/share/jdk8文件夹下 每个节点都需要在相同的目录下配置JDK CDH配置中制定Java的目录             二、下载spark2 spa...
cdh6.3.2集成flink1.12.0
qq_25073261的博客
08-12 960
网上查资料发现使用flink-shaded-12.0-src.tgz编译后确实没有flink-shaded-hadoop-2-uber 3.0.0-cdh6.3.2-10.0这个文件，但是flink-shaded-10.0也适配flink1.12环境，于是改用官网提供的flink-shaded-10.0-src.tgz进行编译。文件夹下的flink-1.12.0-bin-scala_2.12.tar、FLINK_ON_YARN-1.12.0.jar就是目标包。添加服务–>选中flink-yarn。.....
Ambari大数据平台搭建利器【大讲台】
01-07
Ambari是由 HortonWorks 开发的一个Hadoop相关的项目，这款软件具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。推荐进阶课程：大数据实战精英+架构师班
spark-3.2.2-bin-3.0.0-cdh6.3.2
10-20
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql
spark-3.3.1-bin-3.0.0-cdh6.3.2.tgz
11-23
spark 3.3.1 使用 cdh 6.3.2 的hadoop版本。可以直接兼容并配合文档进行cdh spark-sql的使用。 具体查看https://editor.csdn.net/md/?articleId=127997188
CDH6.3.2之升级spark-3.3.1.doc
03-06
3. **安全设置**：如果集群中有安全设置（如Kerberos认证），需要确保新的Spark版本也支持这些设置。 4. **资源管理**：升级后可能需要调整YARN的资源分配策略，以适应新版本Spark的特性。 综上所述，升级Spark版本...
spark-2.4.6-bin-2.6.0-cdh5.7.0.tgz
07-25
总的来说，Spark 2.4.6结合Hadoop 2.6.0-cdh5.7.0为大数据处理提供了一个强大、灵活且易用的平台，无论是在个人项目中探索数据，还是在企业级应用中处理大规模数据流，都是理想的选择。通过Scala编程，开发者可以...
CDH上安装spark2的操作说明
11-16
CDH安装SPark2的方法 可以同时安装CDH的默认spark以及最近的spark2
spark-yarn_2.10-1.6.0-cdh5.7.3.jar
12-24
Oozie Spark on YARN requirement failed 所需jar包：http://blog.csdn.net/fansy1990/article/details/53856608
CDH5.11 离线安装或者升级spark2.x详细步骤
热门推荐
疯狂的暴走蜗牛的专栏
06-23 2万+
简介： 在我的CDH5.11集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本，均告成功。这里做一下安装spark2.1版本的步骤记录。 首先贴出一
CDH5.14.4离线安装Spark2.2.0详细步骤
北京小辉
03-19 8309
目录 一、简介： 二、安装准备 三、开始安装 一、简介： 在我的CDH5.14.4集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。这里做一下安装spark2.1版本的步骤记录。 二、安装准备 csd包：http...
spark教程3 (cdh5.12 添加 spark2.2 服务)
lief2liu
06-06 1945
1.下载安装包 ssh到任一台集群中的节点 cd /opt/cloudera/csd wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera2.jar cd /opt/cloudera/parcel-repo wget http://archive.cloudera.com/spark2/pa...
Spark提交 指定 kerberos 认证信息
jast
08-10 7242
spark-submit --principal hdfs/hostname@jast.COM --keytab hdfs-hostname.keytab --jars $(echo lib/*.jar | tr ' ' ',') --class com.jast.test.Test test.jar
Cloudera Management添加spark2服务
星空的风fly
10-20 3905
用Cloudera Management管理集群时， 有时候在我们已经搭建了cdh版的集群， 又要用到spark2服务，在yarn上跑实时任务，而cdh集群中cdh中不包含spark2服务，因此需要另外下载。 目录 一、下载spark2的parcel包 二、上传至服务器 三、添加spark服务 一、下载spark2的parcel包 1、去这里http://archive.cl...
CDH5.80 离线安装或者升级spark2.x详细步骤
m0_37813354的博客
08-16 890
CDH5.80 离线安装或者升级spark2.x详细步骤   简介： 在我的CDH5.80集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。从官方文档，可知spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.00版本，这里做一下安装spark2.00版本...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事随风ing

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值