SCALA hadoop

最新推荐文章于 2024-03-07 22:13:58 发布
最新推荐文章于 2024-03-07 22:13:58 发布
阅读量2.1k 收藏 1
点赞数 1
分类专栏： 大数据Hadoop 文章标签： scala 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52271180/article/details/124305397
版权

开启主节点master 和子节点slave1slave2   （免密建立在了Hadoop用户上）

先安装scala，进入opt/software文件夹下。上传scala安装包解压安装包到src下

分发scala到子节点

修改用户权限

修改环境变量并生效   两台子节点同理

进入scala   退出 ：quit

BigQiaooo
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hadoop scala spark 例子项目，运行了单机wordcount
07-28
hadoop scala spark 例子项目，运行了单机wordcount
Hadoop平台搭建--08搭建Scala环境
TriumPhSk的博客
06-18 146
上传Scala安装包到 /usr/local/中 切换到/usr/local/下 解压Scala压缩包 tar -zxvf scala-2.13.0.tgz 修改Scala文件夹的名称 mv scala-2.13.0 scala 删除Scala压缩包 rm scala-2.13.0.tgz 配置环境变量 vi /etc/profile export SCALA_HOME=/usr/l...
hadoop（伪分布式）上的spark和Scala安装与配置详细版
最新发布
weixin_68473774的博客
03-07 1485
这里我使用是xshell进行的操作，需要的可以自行下载，这里就不多做解释了（（4）进入spark/sbin 启动spark ./start-all.sh。然后进行文件的托拽到（/opt/software）目录下，也可以复制哦。然后用tar命令解压文件，解压到/opt/module目录下。出现上面的情况，说明你的伪分布式的spark安装成功！vim进入 /etc/profile目录。解压文件到 opt/module/ 目录下。用vim修改/etc/profile文件。之后就进入/opt/module目录。
spark集群搭建（Hadoop、Scala）
Allure_love的博客
02-28 1485
hadoop spark 集群搭建，并有jdk配置 和部分的hdfs 命令
大数据Hadoop第九周——Scala开发环境搭建+Scala语言值变量类型表达式
蔡军帅
04-26 329
大数据第9周 1.Scala开发环境搭建 目前具备全部功能的集成开发环境只有Idea。 下载解压idea：tar -zxvf ideaIE-2019.3.3.tar.gz。 进入bin目录，执行：./idea.sh。 选择新建一个project。 ​ 接着按如下界面选择。 ​ 进入如下界面。输入Project name。 ​ JDK选择我们hadoop系统使用的同一个软件包...
大数据Hadoop之——Scala基础
匠人精神，持之以恒！
03-18 4280
文章目录一、概述二、Scala发展历史三、 Scala 和 Java 关系四、Scala 环境搭建 一、概述 Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言，当然Spark的兴起，也带动Scala语言的发展！官方文档：https://www.scala-lang.org/ 二、Scala发展历史 联邦理工学院的马丁·奥德
Hadoop学习(8)-scala环境配置及简单使用
cxu123321的博客
07-09 682
Hadoop学习(8)-scala环境配置及简单使用 学习scala的原因主要是因为以后要学习spark。 scala是运行在java虚拟机上的，它是一种面向对象和函数式编程结合的语言，并兼容java程序 相对于java更简单 安装scala前提你要保证你已经安装好了jdk 然后 下载这个msi版本的，下载完直接下一步下一步傻瓜安装 然后下载个IDEA 第一次新的IDEA没法创建scala 然后创建一个scala程序 然后选择你的sdk位置...
构建大数据环境：Hadoop、MySQL、Hive、Scala和Spark的安装与配置
kilig_CSM的博客
06-18 2826
安装Hadoop 首先，从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版，下载完成后解压缩到安装目录。然后配置环境变量，并修改Hadoop的配置文件，根据需要进行修改。安装MySQL 安装MySQL服务器是搭建大数据环境的重要一步。更新包管理器后，执行命令安装MySQL服务器，并配置MySQL允许通过网络连接。编辑MySQL的配置文件，并重启MySQL服务，最后验证安装是否成功。安装Hive仓库 Hive是一个用于处理和分析大规模数据集的数据仓库工具。
如何启动hadoop，如何启动hive
shuux666的博客
04-28 2877
虚拟机，环境，配置文件等已经下载，调试好 步骤1：打开虚拟机，并登录 第二步，用xshell，远程链接三台虚拟机 第三步骤， 1、在102上启动hadoop cd /opt/module/hadoop-3.1.3/ start-all.sh 在103上启动YARN [root@hadoop103 ~]# cd /opt/module/hadoop-3.1.3/ [root@hadoop103 hadoop-3.1.3]# sbin/start-yarn.sh 验证 、 104可直接验证 [roo
scala hadoop spark服务器环境部署
11-02
Spark2.1.0完全分布式环境搭建 Hadoop2.7.4完全分布式搭建 Scala2.12.4环境搭建
大数据编程基础（Scala、JVM、Hadoop、Spark）
11-07
大数据编程基础书籍：Scala 、JAVA、JVM、Netty权威、TCP-IP详解、hadoop、spark等书籍 百度网盘地址（后续会有更新）
hadoop,spark,scala环境搭建
05-31
hadoop,spark,scala环境搭建,有详细步骤，一步一步跟着word操作就可以了。
spark-scala代理认证hadoop的kerberos.rar
10-11
spark scala认证和代理认证hadoop的kerberos代码示例。
flink-1.9.2-bin-hadoop2.7-scala_2.12最新flink集群分布式版本
04-20
支持hadoop2.7.2 scala 2.12，编译完成的二进制包flink安装包，亲测可用，注意压缩包是250M，这才是正确的。其他100多M都不对。由于超过220M，所以提供百度云盘链接的形式。
hadoop.dll
09-03
解决：java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 改异常是由于hadoop.dll 版本问题出现的，2.4之前的和之后的需要...
Scala环境搭建
weixin_41318491的博客
09-04 330
Scala环境搭建
2.Scala的安装和使用方法（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
06-08 1010
Scala的安装和使用方法 ① 在Linux系统中安装Scala； ② 使用Scala REPL； ③ 编译打包Scala程序代码。 实验原理-> Scala Scala于2004年1月公开发布1.0版本，目前仍处于快速发展阶段，每隔几个月就有新的版本发布。Spark从2.0版本开始都采用Scala2.11编译，因为本教程使用的Spark版本是2.1.0，其对应的Scala版本是2.11.8，所以，本教程中的Scala选用2017年4月发布的2.11.8版本。Scala运行在Java虚拟机（JVM）之上，
hadoop 3.x大数据集群搭建系列6- 安装scala
只是甲的博客
11-30 559
scala 安装 Hadoop大数据平台
spark scala hadoop 版本对应关系
06-11
Spark和Hadoop的版本对应关系如下： | Spark版本 | Hadoop版本 | |-----------|------------| | 2.4.x | 2.7.x | | 3.0.x | 3.2.x | Scala版本和Spark版本的对应关系如下： | Scala版本 | Spark 2.x版本 | Spark 3.x版本 | |-----------|---------------|---------------| | 2.11 | ✓ | | | 2.12 | ✓ | ✓ | 需要注意的是，Spark 2.4.x也支持Hadoop 3.x版本。另外，在使用Spark时，需要根据具体情况选择相应版本的Scala和Hadoop。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigQiaooo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值