【Ubuntu安装spark环境】----第一站----【虚拟机jdk环境配置】

最新推荐文章于 2023-04-17 12:31:28 发布
最新推荐文章于 2023-04-17 12:31:28 发布
阅读量301 收藏 1
点赞数
分类专栏： spark 文章标签： linux ubuntu jdk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/echo245/article/details/115255163
版权
这篇博客详细介绍了如何在Ubuntu虚拟机中配置Spark环境，首先从安装JDK开始，包括下载JDK包、通过SSH传输、创建目标路径、解压并配置环境变量。文章还预告了后续的hadoop和spark安装步骤。
摘要由CSDN通过智能技术生成

一、配置jdk环境
1.在jdk官网下载jdk包
在这里插入图片描述
2.使用ssh链接工具将所下载的jdk安装包拖进ubuntu虚拟机中/或者用u盘中转，该文章有相关操作https://blog.csdn.net/echo245/article/details/115255768
在这里插入图片描述
3.打开终端控制，进入root

sudo su root

在这里插入图片描述
4.创建Java的目标路径文件夹

mkdir /usr/lib/jvm

5.解压jdk包至 /usr/lib/jvm

tar -zxvf jdk-16_linux-x64_bin.tar.gz -C /usr/lib/jvm

最低0.47元/天 解锁文章
玄月无疆
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在Ubuntu安装jdk教程
JasomMNn的博客
07-27 5422
目录一、在vm软件上配置Ubuntu二、安装jdk 一、在vm软件上配置Ubuntu （1）可以打开vm软件，如下选择。 （2）选择合适的OVF模板部署虚拟机 （3）导入完成后，即可开启虚拟机 二、安装jdk （1）将你的jdk压缩包移到虚拟机的/opt里面 （2）如果无法移动进去，可以给opt文件夹赋权限，可以用如下命令 sudo chmod 777 /opt （3）进入opt目录，进行解压 cd /opt 这里选择好自己压缩包的名字即可 tar -zxvf jdk-8u171-lin
（windows）虚拟机搭建spark
huitailangZz的博客
09-23 3706
对于一个刚刚迈入数据领域的小白、大学生而言，可能有很多人和我一样，面对这种搭建平台知识懵懵懂懂，摸不到头绪，摸爬滚打，在无尽的报错和反复尝试受尽了折磨！在spark搭建之前，有很多的准备工作，你会明白搭建spark不只是搭建spark这么简单。下面我们一起尝试这走出这片苦海！对于一个全新的windows虚拟机，我们需要安装很多前提条件，如果你的虚拟机有jdk、python、hadoop，也需要对准好对应版本，他们大多数兼容性很差，稍有不慎就会出现报错，
Spark学习笔记（一）（Ubuntu）linux下配置spark环境
log_zhan的博客
08-01 2100
本人一个学生党， 因为导师要使用spark分布式计算，但是使用spark又要安装JDK。折腾了很久才弄好，下面根据linux新手总结下面教程。       虚拟机：VMware Workstation 10       操作系统：ubuntu-14.04-desktop-amd64       JAVA版本：jdk-8u101-linux-x64    http://www.oracle
【Ubuntu】Spark 伪分布式安装
懂得一千零一种,赋予你失败的方法！
03-16 518
文章目录Ubuntu下的Spark 伪分布式安装一、安装Scala二、安装Spark三、配置Spark文件四、测试 Ubuntu下的Spark 伪分布式安装 资源获取： scala：https://pan.baidu.com/s/1M1KtWVqVXDhvxbKJQW6Fwg 7in9 spark：https://pan.baidu.com/s/1q2JuGuiaIWFv1IC0nh5NVw zs2m 一、安装Scala 解压安装包至指定目录:tar -zxvf scala-2.10..
Ubuntu的Spark 搭建实验（ssh配置没好，需要的看新发的，完整版）
qq_56437391的博客
03-31 3079
学习目标： 学会Spark环境的搭建 学习内容： 学习Spark搭建环境的过程 学习环境 环境组合是Spark2.3.3+Java8+Scala2.11（这里都不是最新版本的，需要的话自行去官网搜索就好，直接官网下载就可以） 第一步：软件的下载： 这里方便大家下载直接用wget命令代替了 wget http://i9000.net:8888/sgn/HUP/spark/spark-2.3.3-bin-hadoop2.7.tgz#spark的下载 wget http://i9000.ne
Ubuntu14从安装虚拟机开始配置Spark环境，步骤十分详细，步步配图
莫莫先生的博客
02-23 4324
本文集成了以下内容： 1.ubuntu虚拟机的安装，以及更换虚拟机下载源的方法; 2.配置Java环境，解决Xftp中文乱码的方法； 3.配置scala环境； 4.配置hadoop环境（伪分布式）； 5.配置spark环境（单机模式）。
Spark-2.4.0安装教程（附scala、spark资源）
weixin_45380671的博客
01-14 2018
安装Scala、安装Spark、运行Spark官方示例SparkPi
大数据学前准备--zookeeper详解与集群搭建（保姆级教程）
wudidahuanggua的博客
09-13 4419
深度解析zookeeper理论知识以及手把手教你搭建起集群，保姆级的教程。点赞收藏一点也不亏吖！
Linux搭建Hive On Spark环境(spark-1.6.3-without-hive+hadoop2.8.0+hive2.1.1)
pucao_cug的专栏
05-26 1万+
不需要自己手动编译Spark源码，在Linux(CentOS7或者Ubuntu)上搭建Hive On Spark环境 版本号是spark-1.6.3-without-hive hadoop2.8.0 hive2.1.1
Ubuntu的SPARK安装与应用
最新发布
YEExl的博客
04-17 877
mac中Ubuntu安装spark，rdd编程
ubuntu上安装spark详细步骤
每天进步一点点儿
07-09 5053
1、打开清华大学下载站 https://mirrors.tuna.tsinghua.edu.cn/ ，找到 apache点击 2、在新页面中，ctrl + f 输入 spark，点击 3、选择要下载的版本，我选的最新版本 4、选择对应的hadoop版本 5、点击下载，下载完毕移动到一个目录 如 /etc/soft/ mvspark-3.1.2-bin-hadoop2.7.tgz/etc/soft/ 6、解压，如果提示没权限，加sudo sudo tar -zx...
Ubuntu20.04 详细安装、配置Spark3.0.0教程（Pyspark）亲自测试
python 熊猫
08-07 4455
sudo passwd：更改root密码 su：可以直接切换root密码 apt-get -y install vim:安装编辑文件软件。 apt-get update apt-get upgrade --------------------------------------------------------------- 安装sqlite3: sudo apt-get install sqlite3 ---------------------------------------------------
ubuntu spark 的环境变量
蕾姆的博客
01-24 724
JAVA_HOME=/usr/local/java/jdk1.8.0_201 SCALA_HOME=/usr/local/scala SPARK_HOME=/usr/local/spark JRE_HOME=${JAVA_HOME}/jre PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin export CLA...
Ubuntu下搭建spark2.4环境（单机版）
Tattoo
11-23 975
说明：单机版的Spark的机器上只需要安装JDK即可，其他诸如Hadoop、Zookeeper（甚至是scala）之类的东西可以一概不安装。 集群版搭建：Spark2.2集群部署和配置 一、安装JDK1.8 1、下载JDK1.8，地址 2、将下载的文件保存在 /home/qq/java下，进行解压，解压后文件夹为 jdk1.8.0_171： tar -zxvf jdk-8u171-linux-i5...
【Ubuntu-大数据】spark安装配置
许多仙的博客
10-05 2607
然后按下退出键ESC，然后是shift+冒号健输入一个英文冒号，他就会在最下面生成一个冒号。（4）赋予该文件相关权限（lpp2是你的hadoop名字，可以在设置的【用户】中查看）（8）直接使用它bin下面的这个命令来运行试试：（运行它自带的实例，检查是否安装成功）（1）解压压缩包到之前Hadoop安装的目录：本地计算机-usr-local。这里采用3台机器（节点）作为实例来演示如何搭建Spark集群，细心的你会发现，其实就是加了一个hadoop的路径，按i进入插入模式，插入完成，
Ubuntu 16.04 Spark单机环境搭建
红色石头的专栏
05-07 1万+
说道大数据和机器学习，就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤。安装Java SE1、下载JAVA SE linux版本。下载地址为： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html注意选择Linux版本，根据机器类型选择32位或者64位。2、
Ubuntu 16.04下Spark安装与开发环境搭建
热门推荐
lengconglin的博客
09-05 1万+
一、Spark运行环境 　 　Spark是Scala写的，运行在JVM上，所以运行环境Java7+，如果使用Python API，需要安装Python 2.6+或者Python3.4+，安装之前确认已经安装了Java,可参见本人博客：http://blog.csdn.net/lengconglin/article/details/77016911 　　这里注意版本对应问题，2.0以上都对应
Ubuntu 下PySpark安装
学习是一种信仰的博客
12-22 1648
操作系统：Ubuntu20.04 所需软件： Java 8 +，Python 3.5 +, Scala 2.11.12+ 安装Java 8 sudo apt-get update sudo apt-get install openjdk-8-jdk java -version 安装scalasudo wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb sudo dpkg -i scala-2.12.8.deb .
Spark 1.0.2安装教程：VBox+Ubuntu 14.04+JDK与Scala部署详解
这个教程提供了一个基础的Spark 1.0.2开发环境搭建过程，适合初学者了解如何在Windows环境下利用VirtualBox虚拟机安装Ubuntu，以及如何配置必要的开发工具如JDK。后续可能涉及Spark的安装、配置和基本操作演示，但...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值