虚拟机 scala 和spark 安装

最新推荐文章于 2023-09-12 19:36:59 发布
最新推荐文章于 2023-09-12 19:36:59 发布
阅读量502 收藏 7
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jokertiger/article/details/116458244
版权

文章目录

一 、scala 安装

1.下载，解压scala安装包

安装包自行去官网下载
tar -zxvf scala-2.11.12.tgz

2.配置环境变量

在这里插入图片描述
export SCALA_HOME=/opt/software/scala2.11
export PATH= P A T H : PATH: PATH:SCALA_HOME/bin

3.启动scala

scala
在这里插入图片描述

二、spark安装

1、下载，解压spark安装包

spark安装包自行下载
tar -axvf spark-2.4.7-bin-hadoop2.6.tgz

2.修改配置文件

修改文件名

在这里插入图片描述

修改spark-env,sh

在这里插入图片描述
export JAVA_HOME=/root/software/jdk1.8.0_221
export SCALA_HOME=/opt/software/scala2.11
export SPARK_HOME=/opt/software/spark247
export HADOOP_HOME=/root/software/hadoop
export HADOOP_CONF_DIR=/root/software/hadoop/etc/hadoop
export SPARK_MASTER_IP=hadoop100
export SPARK_EXECUTOR_MEMORY=1G

3.配置环境变量

在这里插入图片描述
export SPARK_HOME=/opt/software/spark247
export SPARK_CONF_DIR= S P A R K H O M E / c o n f e x p o r t P A T H = SPARK_HOME/conf export PATH= SPARKH​OME/confexportPATH=PATH:$SPARK_HOME/bin

4.启动spark

spark-shell

在这里插入图片描述
如果是集群，修改 salves 类似hadoop完全分布的slaves，workers
加入集群的ip
还有spark-env.sh 的master_ip都写主节点，每台节点都要安装scala等

jokertiger
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
虚拟机上面安装配置Scala05
qq_56244269的博客
05-31 671
目录 （一）到Scala官网下载Scala （二）安装Scala 1、登录虚拟机 2、上传scala安装包到ied虚拟机 3、解压scala安装包到指定目录 （三）配置Scala环境变量 （四）测试Scala是否安装成功 1、查看Scala版本 （一）到Scala官网下载Scala Scala2.11.12下载网址：Scala 2.11.12 | The Scala Programming Language 单击【scala-2.11.12.tgz】超链接，将scala安装包
虚拟机安装Scala
斯特凡今天也很帅的博客
06-22 742
下载地址： https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz 1.下载 cd ~/software/ wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz 2.解压 ll tar -zxf scala-2.11.12.tgz 3.移动文件到/usr/local/scala ll mv scala-2.11.12.tgz /usr/local/s
虚拟机中Scala的安装使用
qq_53209274的博客
02-23 362
安装Scala
虚拟机上安装spark+scala教程
波点兔的博客
10-12 1052
先配置jdk，scala，spark，并启动scala和spark 1、配置spark-env.sh cd conf cp spark-env.sh.template spark-env.sh vim spark-env.sh 在文件最后一行添加： export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH 2、修改log4j.properties文件 cp lo...
超详细的虚拟机安装scala教程
qq_45973003的博客
07-12 3729
第一步：解压scala我是将scala安装到usr/local目录下的 首先使用文件传输工具将压缩包传输到指定的安装目录 命令:cd /usr/local 进入指定的安装目录 命令：tar -zxvf scala-2.13.3.zip 解压 在使用tar解压是可能会遇到上图所示的问题，原因是tar在解压的时会调用gzip来进行解压而gzip又不能解压所有的文件所有我们就又有了一个解决的办法就是使用unzip进行解压如果没有安装的可以使用yum自动化工具进行 安装 命令：yum -y install unz
scala+spark
06-26
Scala和Spark是现代大数据处理领域中的重要工具，它们在数据科学和工程中占据了核心地位。Scala是一种多范式编程语言，结合了面向对象和函数式编程的特点，而Spark则是一个分布式计算框架，专为大数据处理设计，提供...
最新整理的大数据scala和spark视频教程
07-15
大数据是21世纪信息技术领域的重要组成部分，而Scala和Spark则是其中的关键技术，广泛应用于数据处理、分析和机器学习。这份“最新整理的大数据scala和spark视频教程”为想要深入理解和掌握这两个工具的学习者提供了...
spring boot + scala + spark http驱动spark计算
04-03
在大数据领域，Scala由于其强大的类型系统和表达能力，是Apache Spark的主要编程语言。 3. **Apache Spark**: Apache Spark是一个用于大规模数据处理的开源计算框架，以其高速度、易用性和支持多种工作负载而闻名。...
java+hadopp+scala+spark配置win10版
最新发布
09-25
总之，配置Java、Hadoop、Scala和Spark的Windows 10环境涉及多个步骤，包括安装、配置环境变量、编辑配置文件以及安装IDE插件。这需要一定的耐心和对技术的理解，但一旦完成，你将拥有一个强大的本地开发环境，可以...
配置 Linux 上 虚拟机 的scala 环境
awodwde的博客
09-21 1516
1. 下载安装Scala 将Windows下已经下载好的安装包，传给虚拟机上的节点的/home 查看虚拟机 解压并放到制定目录 tar -xf scala-2.13.3.tgz 2. 配置scala环境变量 vi /etc/profile 添加 export SCALA_HOME=/home/scala-2.13.3 export PATH=$SCALA_HOME/bin:$PATH 3. 下载spark 到www.apache.org...
安装scala
Dream_Flying_BJ的博客
03-08 253
安装sdkman curl -s "https://get.sdkman.io" | bash source "/root/.sdkman/bin/sdkman-init.sh" sdk list sdk install scala
虚拟机spark安装
daimin1的博客
07-21 1060
虚拟机上安装 1、将spark-3.1.2-bin-hadoop3.2.zip安装包传到download 2、解压 tar -zxvf spark-3.1.2-bin-hadoop3.2.zip -C /opt/software/ 3、改名：mv spark-3.1.2-bin-hadoop3.2 spark312 4、进入：cd conf 5、改名：mv spark-env.sh.template spark-env.sh 6、vim spark-env.sh 7、增加： export SPARK_MAS
在vmware虚拟机上配置Scala和Spark并初步使用
Helltaker的博客
10-30 3237
在虚拟机上配置Scala和Spark准备阶段安装包配置文件scala部分spark部分spark初体验 准备阶段 一台配置好Java环境的虚拟机 scala-2.11.12.tgz spark-2.4.5-bin-hadoop2.6.tgz 安装包 将scala和spark的安装包导入虚拟机 解压，移动到opt目录下（或自定义），并改名 tar -zxvf scala-2.11.12.tgz -C /opt/ tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt/
配置虚拟机环境和安装scala
weixin_45761237的博客
11-24 3089
三、配置环境 1、安装命令 右击桌面，选择“在终端打开” 输入命令： sudo apt remove vim-common //先卸载自带的vim sudo apt install vim //安装新的vim 2、下载JavaJDK 在虚拟机终端输入：sudo apt-get install openjdk-8-jre openjdk-8-jdk 3、配置环境变量 vim ~/.bashrc 进入后按住ctrl+i，变为输入模式 在最顶层输入 export JAVA_HMOE=/us
入门级JAVA虚拟机运行Scala
2201_75392632的博客
09-12 306
总结：这是第一次尝试发布博客，创作的过程当中发现自己许多以前没有注意到的问题，对专业方面知识储备远不够支撑自己写下这篇文章，但小白还是厚着脸皮出发了，这里有感，如果永远都在等准备好了再出发的人永远没有准备好的时候。这是入驻CSDN以来第一次尝试发文，学着像论坛大佬们一样尝试搞些东西来为许多像我这样对技术一窍不通的小白们排忧解难，献上小的微不足道的一份力[抱拳抱拳抱拳] 接下来是想将刚刚掌握的一点点知识放上来，没准哪天就能帮上某个迷途中的小可爱了嘞。最后的最后，就可以创建Scala class 类使用啦！
Scala和Spark安装及配置(Linux)
小财迷嘻嘻的博客
10-30 691
这里写目录标题1、下载网址2、Scala安装2.1 解压及安装2.2 配置环境变量3、Spark安装3.1 解压及安装3.2 配置环境变量3.3 配置env文件3.4 配置slaves文件4、spark-shell 前言：安装spark需要jdk环境，hadoop环境。 1、下载网址 Scala下载网址：https://www.scala-lang.org/download 我选择了scala-2.11.12版本，下载虚拟机版本，Scala的windows安装详见我的另一篇博客：搭建Scala开发环境 S
android手机 scala环境,利用Eclipse+Scala搭建android开发环境
weixin_39913141的博客
05-29 192
1、安装JAVA SDK到官网(http://www.oracle.com/technetwork/java/javase/downloads/index.html)下载最新的javase sdk，推荐安装1.6版。安装完成后，在windows环境变量中添加[JAVA_HOME]，并把路径指向java sdk的安装根目录。 2、安装Scala从scala官网(http://www.scala-l...
spark安装
weixin_67481784的博客
11-03 415
spark安装
Scala编程入门：Spark学习笔记
笔记中还涉及了与Spark密切相关的Scala编程语言的介绍，包括Scala的基本概念、学习Scala的原因以及简单的Scala编程示例，如变量声明、常用类型和条件表达式。" 在Spark学习中，掌握Scala语言是至关重要的，因为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值