实验七：安装配置Scala和Spark

最新推荐文章于 2021-06-04 20:45:45 发布
VIP文章 最新推荐文章于 2021-06-04 20:45:45 发布
阅读量173 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44722787/article/details/90522903
版权

1、Scala 安装

（1）官网下载安装Scala：scala-2.12.8.tgz（https://www.scala-lang.org/download/）
为保持统一，我们将安装的程序都放在/usr目录下，在/usr目录下创建Scala文件夹
在这里插入图片描述（2）解压
tar -zxvf scala-2.12.8.tgz -C /opt/module
mv scala-2.12.8 scala
（3）在/etc/profile中添加scala环境变量在这里插入图片描述
使修改的内容立刻生效：在这里插入图片描述
（4）测试Scala是否安装成功
在这里插入图片描述
在这里插入图片描述

2、Spark安装

spark的安装和hadoop有些相近，添加环境变量&#

最低0.47元/天 解锁文章
17.8686
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark 编程基础（Scala 版）-机房上机实验指南
03-20
Spark与Scala的集成：展示如何在Scala环境下搭建Spark开发环境，包括安装、配置Spark以及Scala的IDE支持。 Spark核心API：深入讲解Spark的核心API，包括RDD（弹性分布式数据集）、DataFrame、Dataset以及Spark SQL...
Spark课后实验报告
weixin_44332487的博客
05-26 2811
一、兼容问题 Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。 请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对Scala 2.10的支持被删...
实验七 安装配置Scala和Spark
Zgy_Csm的博客
05-22 372
实验任务： 1、安装Spark 2、使用Spark Shell 读取本地文件 读取HDFS文件 编写wordcount程序 3、用Scala编写Spark应用程序 4、用Java编写Spark应用程序 一、Spark与Scala版本兼容问题： Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scal...
Scala与Spark的安装配置
weixin_42393089的博客
05-25 182
一、Spark与Scala版本兼容问题： Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。 请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对S...
【Spark】Spark安装和使用
小哲的博客
08-06 2000
Spark安装和使用 原文地址：厦门大学数据库实验室，作者：林子雨 Spark可以独立安装使用，也可以和Hadoop一起安装使用。本教程中，我们采用和Hadoop一起安装使用，这样，就可以让Spark使用HDFS存取数据。需要说明的是，当安装好Spark以后，里面就自带了scala环境，不需要额外安装scala，因此，“Spark安装”这个部分的教程，假设读者的计算机上，没有安装Scala，也...
Spark——实验一：Scala安装与验证
maochaofei的博客
06-04 853
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(7)版本安装scala2.11.8 1.1 在官网下载Scala2.11.8 1.2 安装Scala2.11.8 1.3 配置Scala命令的环境变量 1.4 验证Scala 2. Scala实例练习 2.1 创建统计单词文本 2.2 创建词频统计Scala程序代码 2.3 运行词频统计代码 2.4 在Scala解释器中运行代码 一. 实验目的   学习scala语言的安装，掌握其主要语法和应用技术
spark从入门到实战
09-18
3.SCALA环境搭建及IDEA安装配置（JAVA安装、SCALA安装及IDEA安装）） 4.SCALA语言HelloWorld及安装总结（作业LINUX系统安装） 5.SCALA中变量的声明（两种方式） 6.SCALA中数据类型及操作符 7.IF语句及WHILE循环、...
java6.0源码-mbo-spark:火花探索
06-04
Spark构建和安装 Spark基本配置 独立集群设置（一台机器上的一个主和 4 个从） 在独立集群上运行math.PI近似作业 我的设置 安装 Spark 之前： Ubuntu 12.04 LTS 32 位 OpenJDK 1.6.0_27 Scala 2.9.3 Maven 3.0.4 ...
云计算实验报告合集+所有截图+详细解释
11-06
共包含四个云计算实验，分别是实验一基于Hadoop的云计算平台配置；实验二 Spark分布式内存计算...实验三 基于Scala编程语言的Spark数据预处理实验； 实验四 面向行业背景的大数据分析与处理综合实验。过程十分详细！
java8stream源码-sensorpi:使用Mesos、Spark、Kafka、InfluxDB和Grafana在RaspberryPi
06-04
但首先需要注意的是，与我的不同，因为这是一个实验，没有主厨代码来设置和配置 Raspberry Pi 集群（您需要手动执行此操作）。 最初这个项目的目的是实现一个 . 您将看到最终结果更像是一个 SMKS 堆栈（Spark、Mesos...
HP-Socket编译-Linux
05-20
HP-Socket编译-Linux
JavaScript_生活在Discord上的开源社区列表.zip
05-20
JavaScript
JavaScript_MultiOn API.zip
05-20
JavaScript
JavaScript_简单和完整的React DOM测试工具，鼓励良好的测试实践.zip
05-20
JavaScript
JavaScript_成为一个Nodejs开发者.zip
05-20
JavaScript
node-v14.5.0-headers.tar.xz
最新发布
05-20
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
android手机应用源码带文字的ProgressBar Demo源码.rar
05-20
android手机应用源码带文字的ProgressBar Demo源码.rar
pom.xml配置scala,spark,hadoop
06-07
在 pom.xml 文件中配置 Scala、Spark 和 Hadoop 的依赖可以通过如下方式实现： 1. Scala 依赖配置： ```xml <dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.12</version> </dependency> </dependencies> ``` 2. Spark 依赖配置： ```xml <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.0</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.4.0</version> </dependency> </dependencies> ``` 3. Hadoop 依赖配置： ```xml <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.7</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.7</version> </dependency> </dependencies> ``` 注意，这些依赖的版本号需要根据实际情况进行调整，以保证兼容性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值