实验七 Spark安装与配置

最后一章学习 Spark安装与配置以下是实验步骤
一、在Windows下下载Scala和Spark
官网下载安装Spark:spark-2.4.2-bin-hadoop2.7.tgz
官网下载安装Scala: https://www.scala-lang.org/download/
在这里插入图片描述
二、将压缩包从Windows传输到Linux当前目录下:
put G:\spark\scala-2.12.8.tgz
put G:\spark\spark-2.4.3-bin-hadoop2.7.tgz
三、解压
tar -zxvf scala-2.12.8.tgz -C /home/shui
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /home/shui
四、重命名
(1)把scala-2.12.8 重命名为 scala
运行命令
mvs cala-2.12.8 scala
(2)把 spark-2.4.3-bin-hadoop2.7 重命名为 spark
运行命令
mv spark-2.4.3-bin-hadoop2.7 spark
在这里插入图片描述
四、测试
scala -version
在这里插入图片描述
五、
1

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
本文主要总结了Linux基础及Spark和Hadoop的安装和配置实验的经验和感悟。 1. Linux基础 在Linux基础实验中,我们学习了Linux的基本命令、文件系统、文件权限和用户管理等知识。这是Linux系统管理员的基本技能,也是大数据工程师必备的基础知识。 在实验过程中,我深刻体会到了Linux系统的强大和灵活性。Linux系统提供了丰富的命令和工具,可以轻松地进行系统管理、文件操作和网络通信等操作。同时,Linux系统的文件系统和文件权限非常严格,可以有效地保护系统安全和数据安全。因此,在日常工作中,我们要熟练掌握Linux系统,正确使用Linux命令,保证系统安全和稳定运行。 2. Spark和Hadoop的安装和配置 在Spark和Hadoop的安装和配置实验中,我们学习了大数据平台的基本组件和架构,并实践了Spark和Hadoop的安装和配置过程。这是大数据工程师必备的技能,也是大数据应用开发的基础。 在实验过程中,我遇到了许多问题和挑战,例如环境配置、组件版本兼容性、集群设置和调试等。经过不断地尝试和调试,我逐步掌握了Spark和Hadoop的架构和工作原理,熟悉了它们的配置和使用方法。同时,我意识到了大数据平台的复杂性和多样性,需要不断学习和实践,才能掌握大数据技术的核心。 总结一下,Linux基础和Spark、Hadoop的安装和配置是大数据工程师必备的基础知识,需要我们不断学习和实践。在实验过程中,我们要注意细节、坚持不懈,不断提升自己的能力和技能,才能成为一名优秀的大数据工程师。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值