Spark版本升级后部署路径的调整

最新推荐文章于 2021-12-04 19:40:34 发布
最新推荐文章于 2021-12-04 19:40:34 发布
阅读量969 收藏
点赞数 1
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kwu_ganymede/article/details/51272295
版权

Spark版本升级后部署路径的调整，最近从spark-1.4.1升级到Spark-1.6.1发现很多环境变量都要修改。为了防止出现升级版本后路径变化的问题，我们统一用软链接来处理，这也是参考了Cloudera Manager的管理方式

例如：


mv spark spark-1.4.1-bin-hadoop2.6

ln -s spark-1.6.1-bin-hadoop2.6/ spark


先把原来的Spark目录改成对应版本号的目录，然后再把Spark-1.6.1的目录做一个软链接到Spark目录即可


.


以后再版本升级修改软链接就好了

kwu_ganymede
关注
专栏目录
[Spark版本更新]--Spark-2.4.0 发布说明
欢迎来到我的博客，一起探索代码里的世界！
11-09 6542
2018-11-02 Apache Spark 官方发布了 2.4.0版本，以下是 Release Notes，供参考：  Sub-task [ SPARK-6236 ] - 支持大于2G的缓存块 [ SPARK-6237 ] - 支持上传块> 2GB作为流 [ SPARK-10884 ] - 支持针对回归和分类相关模型的单实例预测 [ SPARK-11239 ] - 用于ML线性...
Spark升级注意事项
chbxw
03-02 510
2.2、 升级注意： 2.2.1、 代码改变 注意从2.0.0开始DataFrame 被Dataset<Row>替换 Iterable<String> 被替换成Iterator<String> com.google.common.base.Optional变成了 org.apache.spark.api.java.Optional ...
Linux更换scala版本,scala -version还是原来的版本问题
西贝没有横
04-09 3333
rm -rf /usr/bin/scala rm -rf /usr/bin/scalac ln -s $SCALA_HOME/bin/scala /usr/bin/scala ln -s $SCALA_HOME/bin/scalac /usr/bin/scalac 这样执行以后，然后 scala -version 、 scalac -version
spark启动的worker节点是localhost_大数据处理 | Spark集群搭建及基本使用
weixin_39821718的博客
11-19 280
本文将详细介绍Spark集群的搭建及Spark的运行原理、运行模式。—▼—Spark集群环境搭建如果已经理解了前文Hadoop集群环境的搭建，那么学习Spark集群环境的搭建会容易很多，因为Hadoop和Spark不仅安装包目录结构非常相似，在配置方面也十分接近。均是在master节点上进行所有配置，然后打包复制到每个slave节点，然后启动集群Spark即可，下面就来详细介绍一下Spark集群环...
搭建Spark所遇过的坑
asd315861547的博客
02-21 3225
一.经验1.Spark Streaming包含三种计算模式：nonstate .stateful .window2.kafka可通过配置文件使用自带的zookeeper集群3.Spark一切操作归根结底是对RDD的操作4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。5.kafka的log.dirs不要设置成/tmp下的目录，貌似tmp目录有文件数和磁盘容量
Spark 2.4.8 Job调度
大怀特的博客
12-04 514
Spark 2.4.8 Job调度概览跨应用程序调度动态资源分配配置和设置资源分配策略请求策略移除策略优雅关闭ExecutorsApplication内部调度 概览 Spark 有多种工具为资源调度在复杂计算. 首先,回顾下,在集群模式概念中,每个 Spark application(SparkContext实例)运行一个独立一组executor 进程.群集管理 Spark运行的集群管理器提供工具为了调度跨应用. 其次,每个Spark application, 多个"jobs"(spark actions)
Spark升级2.0.1版本安装部署教程
suhanjiao4897的博客
10-17 3081
Spark升级2.0.1版本安装部署教程       0.集群当前环境 Hadoop版本：2.7.1 JDK版本：jdk1.7.0_79 Hbase版本：1.1.2 Spark版本：1.5.0 Scala版本：2.10.4 1.Spark安装 a)   在官网（http://spark.apache.org/downloads.html）上下载与当前hadoop版本适
CDH6.3.2之升级spark-3.3.1.doc
03-06
此次升级的主要原因是团队对Hive进行了版本升级，从较低版本升级到了3.1.3。然而，在升级过程中发现并没有与之匹配的spark-hive包，因此决定直接将Spark升级到3.3.1版本。 #### 二、升级前准备 1. **环境备份**： ...
IM spark源代码部署及编译
12-30
以上步骤完成后，就可以运行Spark项目并看到Spark的启动界面，从而完成整个Spark源代码的部署和编译过程。这个过程不仅涉及到MyEclipse和Ant工具的使用，还涉及到对Java项目的配置和Java编译器的版本管理。对于有...
离线安装ambari 更换spark版本 集成carbondate文档
weixin_44742962的博客
05-27 2864
1、Linux系统环境配置 1.1 配置IP地址 vim /etc/sysconfig/network-script/ifcfg-eth0 “DEVICE”：网卡对应的设备别名，如ifcfg-eth0第一块网卡； “HWADDR”：网卡物理地址； “BOOTPROTO”：网卡获得ip地址的方式，Static（静态 ip地址）dhcp（通过dhcp协议获取ip）bootip通过boot...
Spark 设置指定 JDK 的正确姿势
Focus on Lakehouse
07-20 1506
欢迎订阅微信公众号：大数据技术架构，更多大数据基础架构，原理与实践，社区动态等。 这两天在测试环境提交 Spark Streaming 任务时，遇到了一个 JDK 版本问题导致 job 一直提交失败。 我们使用的组件版本： 1Spark2.12Elasticsearch6.3.23JDK1.8.0_162 2Elasticsearch6.3.2 3JDK1.8....
spark1.6转到spark2.3总结（依赖、版本、初始化问题）
u013303361的专栏
04-11 8925
问题：pom里面不写spark版本（<spark.version>2.0.0</spark.version>）的话，可能会默认用spark1.6导致版本冲突异常——语法通过但无法编译运行 问题（spark版本必须对应Scala版本）：参考https://mvnrepository.com/artifact/org.apache.spark/spark-hive上面的spar...
安装spark报错java路径不对
干货
02-26 3136
/Volumes/ds/service/spark-2.4.0-bin-hadoop2.7/bin/spark-class: line 71: /Library/Java/JavaVirtualMachines/jdk1.8.0_201/Contents/Home/bin/java: No such file or directory 正确的路径在/Library/Java/JavaVirt...
Spark存储文件，修改目录及文件名
weixin_47135960的博客
03-28 1218
今天业务刚好要用spark来将数据库里的数据定时存储到hdfs,分目录,改文件名,记下来防止以后不写spark忘记（老年人记性差） 第一种方式使用saveAsHadoopFile算子,继承MultipleTextOutputFormat 话不多说,上代码 //查出当天日期的前一天 val cal = Calendar.getInstance cal.setTime(new Date) cal.add(Calendar.DATE, -1) //存储的目录，根据自己的业务来分,存储Hdfs就写hdfs路径
详解大数据数据仓库分层架构
热门推荐
Ganymede的Hadoop世界
05-10 3万+
大数据数据仓库是基于HIVE构架的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：
基于IntelliJ IDEA开发Spark的Maven项目——Scala语言
Ganymede的Hadoop世界
07-05 3万+
基于IntelliJ IDEA开发Spark的Maven项目——Scala语言 Maven管理项目在JavaEE普遍使用，开发Spark项目也不例外，而Scala语言开发Spark项目的首选。因此需要构建Maven-Scala项目来开发Spark项目，本文采用的工具是IntelliJ IDEA 2016，IDEA工具越来越被大家认可，开发java, python ,scala 支持都非常好
Spark性能优化：JVM参数调优
Ganymede的Hadoop世界
05-02 2万+
Spark性能优化：JVM参数调优 年轻代：主要是用来存放新生的对象。 老年代：主要存放应用程序中生命周期长的内存对象。 Spark中，垃圾回收调优的目标就是，只有真正长时间存活的对象，才能进入老年代，短时间存活的对象，只能呆在年轻代。不能因为某个Survivor区域空间不够，在Minor GC时，就进入了老年代。从而造成短时间存活的对象，长期呆在老年代中占据了空间，而且Full GC时要回收大量的短时间存活的对象，导致Full GC速度缓慢。
Hadoop经典案例Spark实现（七）——日志分析：分析非结构化文件
Ganymede的Hadoop世界
05-17 1万+
Hadoop经典案例Spark实现（七）——日志分析：分析非结构化文件
java spark部署 单节点
最新发布
07-24
- **升级和维护**：定期更新Spark版本和依赖库以获取最新的功能改进和安全修复。同时，备份重要数据，防止意外丢失。 通过上述步骤，您可以在本地机器上成功部署并运行Apache Spark，进行初步的数据处理和分析实验...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值