Ubuntu18.04 Spark2.4.7环境搭建+使用说明

最新推荐文章于 2022-03-31 20:53:09 发布
最新推荐文章于 2022-03-31 20:53:09 发布
阅读量427 收藏
点赞数 1
分类专栏： 环境搭建 伪分布式系统 文章标签： spark hadoop ubuntu 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36634690/article/details/109179532
版权
本文档详细介绍了如何在Ubuntu18.04上搭建Spark2.4.7环境，包括依赖的jdk1.8.0_261和hadoop2.7.7的配置。日常使用中，通过检查java版本、hadoop的运行状态以及启动Spark和Zeppelin，确保所有组件正常工作。通过访问特定端口验证服务运行，如http://localhost:50070和http://localhost:8080，以使用Spark Notebook。
摘要由CSDN通过智能技术生成

Ubuntu18.04 Spark2.4.7使用说明

Ubuntu18.04上Spark2.4.7的搭建

参考了这个，好使的.
我的框架是jdk1.8.0_261，hadoop2.7.7, spark2.4.7, zeppelin0.8.1

日常使用

因为在自己的使用过程中，spark有的时候没有办法正常使用，不想敲一半就崩掉，所以我一般按照下面的流程走一遍。 算是笨办法哇。

  1. 确认java
java -version

如果没有显示java version “1.8.0_261”，
就sudo gedit /etc/profile 一下，确认一下路径无误，
然后source /etc/profile ， 一般就可以了。得到下图的结果。 如果不可以就再瞅瞅路径是不是写错了。
在这里插入图片描述
2. 确认hadoop

因为之前设置了免密登录，所以先试一下能否不输入密码就可登录：

ssh localhost

得到下面的结果就没啥问

最低0.47元/天 解锁文章
aalex_bb12321
关注
专栏目录
关于yolov5的调试环境搭建亲测有效ubuntu18.04 +ros+melodic+anaconda+pytorch+torchvision+cuda10.2+cudnn
weixin_42933461的博客
12-28 1539
一开始本人安装的是cuda11.4,但是发现🔛继续安装pythorch存在版本不匹配的问题，故查寻可以安装低版本的cuda10.2,此处重启的时候需要注意，系统进入的时候需要自己进行选择，不要选错，否则需要重新安装。选择cuda10.2+python38的linux系统wheel进行下载再进行安装。最近，开始接触yolov5，打算用yolov5进行ros的fe fef ff。同时如果采用命令安装，发现大部分为cpu驱动，打开链接后，网站会要求你登陆账号，下载如下。至此，cudnn安装完成。
spark-2.4.7:spark-2.4.7
03-23
阿帕奇火花 Spark是用于大数据的快速通用集群计算系统。 它提供了Scala，Java，Python和R中的高级API，以及优化的引擎，该引擎支持用于数据分析的通用计算图。 它还支持丰富的高级工具集，包括用于SQL和DataFrames的Spark SQL，用于机器学习的MLlib，用于图形处理的GraphX和用于流处理的Spark Streaming。 在线文件 您可以在找到最新的Spark文档，包括编程指南。 此自述文件仅包含基本的安装说明。 建筑火花 Spark是使用构建的。 要构建Spark及其示例程序，请运行： build/mvn -DskipTests clean package （如果您下载了预先构建的程序包，则无需执行此操作。） 可从项目站点的获得更多详细的文档。 有关常规开发技巧，包括有关使用IDE开发Spark的信息，请参阅 。 交互式Scala外壳 开始使用S
在Ubuntu里搭建spark环境
weixin_33894640的博客
05-08 340
注意：1.搭建环境：Ubuntu64位，Linux（也有Windows的，我还没空试） 2.一般的配置jdk、Scala等的路径环境是在/etc/profile里配置的，我自己搭建的时候发现我自己在profile配置环境会有问题，比如说：我配置了spark，source了profile，启动spark是没问题的，但是当我想再次启动spark的时候， 就会启动失败，需要...
spark-2.4.7-bin-hadoop2.7.tgz
03-19
spark2.4.7版本兼容hadoop2.7版本，官网上下载的话会很慢。
Spark从入门到放弃——Spark2.4.7安装和启动（二）
LXWalaz1s1s的博客
12-14 3057
Spark版本   Spark是Apache开源的顶级项目，官网地址,目前也一直不断更新迭代，截至本博客发布时间(20201202)最新版本是Spark 3.0.1 released (Sep 08, 2020),因为公司目前生产用的是Spark2.4.7,所以后续的教程都是以Spark2.4.7为主；    讲解版本：Spark2.4.7   工欲善其事，必先利其器！这里就讲解下Spark的安装与启动； 安装准备   Spark从入门到放弃——初始Spark（一）说到，Spark只是计算框架，取代的是Ma
spark环境和linux,ubuntu18.04从零开始搭建单机spark环境
weixin_42133452的博客
05-04 295
最近想要学习spark，首先需要搭建spark的环境，之前零零散散也接触过一些spark的东西，但是都没有记录下来。刚好新安装了一个ubuntu18.04系统，想在此系统上进行环境搭建，趁机记录一下过程。访问spark的官网，阅读spark的安装过程，发现spark需要使用到hadoop，java JDK等，当然官网也提供了Hadoop free的版本。本文还是从安装java JDK开始，逐步完成...
Ubuntu 18.04.06PCLC++学习记录（二）下配套文件
最新发布
03-17
最好自己写程序得出，实验代码用用
ubuntu 18.04搭建python环境（pycharm+anaconda）
09-19
在Ubuntu 18.04上搭建Python开发环境是一个重要的步骤，尤其是对于那些正在学习或从事数据分析、机器学习以及Web开发的用户。本教程将详细讲解如何安装和配置Python环境，包括Anaconda和PyCharm。 **Anaconda的安装...
ubuntu18.04+安装GPU++CUDA+cuDNN
09-07
在本部分内容中，将对如何在Ubuntu ...这个过程涵盖了从基础编译器的安装到硬件驱动程序的安装，再到CUDA和cuDNN的详细安装步骤以及开发环境的搭建，提供了完整的在Ubuntu 18.04上搭建GPU、CUDA和cuDNN环境的解决方案。
spark-2.4.7-bin-hadoop2.7.tar.gz
10-07
该文件为2.4.7版本的spark包（spark-2.4.7-bin-hadoop2.7.tar.gz）
Ubuntu安装spark（伪分布式）
名狱的博客
12-08 613
首先下载spark安装包到主机，2.4.0版本的spark我是在林子雨老师分享的网盘中下的 该网址里有讲到http://dblab.xmu.edu.cn/blog/2441-2/ # 解压 sudo tar -zxvf spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/ cd /usr/lcoal # 改名 sudo mv spark-2.4.0-bin-without-hadoop.tgz spark # 设置文件所有者和所有组，我的主机名是zhong su
ubuntu18.04安装spark（伪分布式）
qq_38486921的博客
03-28 290
网上这方面安装教程挺多的但是我觉得这篇博客挺不错的 ubuntu18.04安装spark 还有就是安装好之后,运行其快速入门中的例子可能会遇到如下问题： 解决的办法有两个： 第一：在hdfs中创建该文件 第二：填写该文件的本地完全路径，记得开头加上“file:///”。 ...
spark版本和jdk版本报错
weixin_43806056的博客
04-20 2728
报错信息： java.lang.UnsupportedClassVersionError: org/apache/spark/network/util/ByteUnit : Unsupported major.minor version 52.0 解决办法： helloword.scala(准备运行的代码)->run configuration->JRE->alternate j...
spark教程
yuhouwucaihong的博客
02-24 753
spark教程汇总
Spark简介及其在ubuntu下的安装使用
架构设计
08-11 421
Spark概述 Spark 是一种与 Hadoop 相似的开源集群计算环境，在性能和迭代计算上很有看点，现在是Apache孵化的顶级项目吧。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代...
Ubuntu的Spark 搭建实验（这次是完整的哈，没有错误）
qq_56437391的博客
03-31 5415
学习目标： 学会Spark环境的搭建 学习内容： 学习Spark搭建环境的过程 一. 软件的下载，解压与安装 二. 环境的配置 学习环境： 环境组合是Spark2.3.3+Java8+Scala2.11（这里都不是最新版本的，需要的话自行去官网搜索就好，直接官网下载就可以） 一、 软件的下载，解压和移动 1.1 软件的下载，这里采用的wget命令代替 wget http://i9000.net:8888/sgn/HUP/spark/spark-2.3.3-bin-hadoop2.7.
Ubuntu中Spark1.6.2安装和使用
热门推荐
码农阿益的博客
11-14 2万+
一、安装Hadoop 如果你的计算机上已经安装了Hadoop，本步骤可以略过。这里假设没有安装。如果没有安装Hadoop，请访问Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04,依照教程学习安装即可。注意，在这个Hadoop安装教程中，就包含了Java的安装，所以，按照这个教程，就可以完成JDK和Hadoop这二者的安装。 二、安装 Spark 下载地址： 1、Spark官网：http://spark.apache.org/downloads.html 2、历史版本：
Ubuntu18.04配置Nginx+RTMP+HLS+HTTPFLV服务器实战指南
总结一下，这个配置过程涵盖了在Ubuntu 18.04上搭建一个功能强大的流媒体服务器，支持RTMP、HLS和HTTPFLV协议，可以用于点播、直播和录制。通过这种方式，内容创作者和开发者可以构建自己的流媒体平台，满足各种应用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值