自制Spark安装详细过程（含Scala）

最新推荐文章于 2024-09-26 21:58:30 发布
最新推荐文章于 2024-09-26 21:58:30 发布
阅读量4k 收藏 9
点赞数 3
分类专栏： Spark 文章标签： Spark Scala 安装 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fortuna_i/article/details/82751818
版权
本文详述了Spark和Scala的安装配置过程，包括在Linux环境下下载Scala，配置环境变量，通过rsync同步到从节点，接着下载Spark并进行解压、重命名，配置环境变量，修改slaves和spark-env.sh文件，最后启动和验证Spark集群的过程。
摘要由CSDN通过智能技术生成

推荐spark安装链接http://blog.csdn.net/weixin_36394852/article/details/76030317

一、scala下载安装与配置

         1.下载

                   cd /usr/scala    //若不存在则新建

                   wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz                  //在线下载

                   或者访问https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz

                   本机下载后copy到scala文件夹下

         2.安装

                   cd /usr/scala

                   tar -zxf scala-2.11.7.tgz  //解压

                   vi /etc/profile   //配置环境

                   在末尾加入如下代码

                   export SCALA_HOME=/usr/scala/scala-2.11.7

                   export PATH=$PATH:$SCALA_HOME/bin

                   source /etc/profile  //设置生效

         3.验证

                   scala -version

最低0.47元/天 解锁文章
Fortuna_i
关注
专栏目录
2020数据1班《大数据实时处理》学生学期总结
howard2005的专栏
06-21 1119
本学期，大数据1班的同学们在学习《大数据实时处理》课程过程中收获颇丰。华老师以风趣幽默的教学方式吸引了学生们的注意力，并通过Scala基础、Spark集群搭建、RDD和SQL等教学内容，培养了学生们实际操作和解决问题的能力。同学们在学期总结中分享了自己的学习心得与成长经历，从初次接触Spark时的困惑，到逐步克服环境配置、集群搭建等难题，再到对Scala编程语言产生兴趣。
Livy的CDH环境parcel和csd制作
L, there!
08-05 2764
制作parcel和csd需要用到Clouderacm_ext，所以先用Git下载cm_ext，然后用Maven安装。 这里主要是制作Livy Spark server，用于Spark on Hue，暂时没有用到R所以就先不安装了。 因为使用平台是CDH6.0.1，所以需要修改脚本。 1. 安装支持语言和环境变量 Java、Scala、Python、Maven，并配置好环境变量。 2. ...
spark安装教程
yunlidexiliu的博客
06-28 1249
1.下载Spark安装包 # 下载Spark cd /export/softwares wget https://archive.apache.org/dist/spark .将spark上传到opt目录中 解压缩：tar -zxvf spark-3.1.1-bin-hadoop2.7.tgz ​ 查看：ll 2.将1000权限改成root权限 chown -R root /opt/spark-3.1.1-bin-hadoop2.7 ​ chgrp -R root /opt/spark-3.
Spark安装与配置
最新发布
2301_80640837的博客
09-26 500
将安装包上传到 /opt/software下 解压到/opt/module下。修改spark软件包的名字：方便后续访问。修改如下，光标所在行。
Spark与Scala配置
qq_40891050的博客
06-14 695
spark与scala
spark 安装详细步骤
qq_58476985的博客
10-11 2831
3、在目录/home/hadoop/software下解压：tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz。4、进入conf目录,复制文件cp spark-env.sh.template spark-env.sh。6、cd 切换到sbin目录下使用 ./start-all.sh 命令。5、vim spark-env.sh 进入文件编辑 点击 i；7、cd 到bin目录 使用./saprk-shell。jps后看到worker和Master节点。
Scala和Spark的安装
giantleech的博客
05-06 173
文章目录Spark 安装解压文件修改环境变量配置Spark-env.sh配置slaves文件启动spark Spark 安装 1、前置安装JDK就可以(Spark 不一定依靠Hadoop) 2、下载spark-2.4.3-bin-hadoop2.6.tgz 3、选择3个节点打通无密登录(1台做master节点 2台做worker节点) 4、 在conf下cp slaves 和 spark-env.sh 解压文件 解压文件并改名 tar -zxf scala-2.11.12.tgz mv scala-2.
spark.visual.simulation：ScalaFX，Spark，Kafka，Cassandra视觉模拟
02-24
酿造安装scala brew install sbt 酿造安装卡桑德拉 酿造安装Zookeeper 服务 酿造服务开始cassandra＆zookeeper＆kafka 酿造服务停止卡桑德拉和卡夫卡* Zookeeper 测试 sbt清洁测试 跑 sbt clean编译运行 记录中 ...
Spark整合Kafka小项目
u010069849的博客
09-29 432
SparkStreaming与kafka整合小项目实践含所有代码带详细注释   总流程：自制日志生成器生成含数据日志，使用kafkaAppender直接发送到kafka，SparkStreaming从kafka消费日志，并流式处理将结果发送到kafka另一个topic，Java后台从kafka消费日志分析结果，实现秒级大数据实时分析展示。   版本 kafka_2.11-0.11.0....
spark、scala安装配置
prometheus的博客
08-24 678
一、安装scala1、下载scala .tar.gz文件 2、解压文件到指定文件夹 3、配置scala环境变量 在/etc/profile加入SCALA_HOME=/sp/scala-2.11.4 export PATH=$SCALA_HOME/bin:$PATH source /etc/profile4、分发文件夹到其他主机，同理，配置相应该的环境变量二、安装Spark1、下载spark
Spark集群及开发环境搭建（完整版）
04-09
Spark集群及开发环境搭建，适合初学者，一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建（hadoop用户下） 6 1. 机器名HostName 6 2. 关闭防火墙 6 3. 系统更新及常用工具安装 7 4. IP配置 8 5. JDK安装 8 五、 Hadoop安装及配置 9 1. 安装 9 2. 配置 10 六、 机器集群搭建 12 1. 复制机器 13 2. 设置静态IP 13 3. 设置机器名hostname 14 4. ssh免密登录 14 5. hadoop集群测试 16 七、 Spark & Scala 集群安装 18 1. scala安装 18 2. spark安装 19 3. 测试spark集群 20 八、 Scala开发 20 1、插件下载 20 2、插件安装 21 3、scala开发 22 4、程序执行 22
完整的spark安装指南（带图）
10-11
完整的spark安装指南，包含shell命令和步骤图片。
scala和spark的安装
01-03
scala和spark的安装和配置，以及启动spark，分发节点。
如何安装spark
Blackrosetian的博客
06-25 1697
第一步： Spark官网下载相应版本的spark，http://spark.apache.org/ 第二步： 解压安装spark sudo tar -zxf spark-2.0.0-bin-hadoop2.7.tgz -C /usr/local 第三步： 重命名 cd /usr/local sudo mv spark-2.0.0-bin-hadoop2.7 spark第四步： 声明
Scala与Spark的安装配置
weixin_42393089的博客
05-25 211
一、Spark与Scala版本兼容问题： Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。 请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对S...
spark学习（一）spark/scala环境配置
墨夜之枫的博客
10-14 298
题目配置一台虚拟机spark 配置一台虚拟机spark 配置网络地址： 关闭防火墙： 打开SecureCRT 修改机器名字： 关闭防火墙： 重启： 重新连接： （四个回车） （输密码） 选择jdk1.8.0_162.tar.gz 克隆会话： 在原会话中解压jdk： 在克隆会话中： 在最下面加入以下两行： 上传：scala-2.10.6.tgz 到克隆会话中： 在主会...
Spark安装教程
m0_74972727的博客
05-07 930
【代码】Spark安装教程。
Spark 集群搭建从零开始之1 Scala的安装与配置
陈杰
09-18 565
1、Scala下载地址，要下什么版本更改连接中的版本号即可 http://www.scala-lang.org/download/2.10.4.html 2、解压 3、vim /etc/profile 加入 export SCALA_HOME=/chenjie/scala-2.10.4 export PATH=${SCALA_HOME}/bin:$PATH 4
spark安装过程不安装scala
05-28
可以安装 Spark 而不安装 Scala，因为 Spark 可以使用 Java、Python 和 R 进行编程。不过，Scala 是 Spark 的首选语言，因为它能够提供更好的性能和更好的编程体验。如果你想使用 Scala 进行 Spark 编程，那么你需要安装 Scala。否则，你可以使用 Java、Python 或 R 等其他编程语言。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值