hadoop2.7.6和spark-2.3.0以及scala环境搭建

最新推荐文章于 2024-04-25 23:14:50 发布
最新推荐文章于 2024-04-25 23:14:50 发布
阅读量5k 收藏 4
点赞数 1
分类专栏： 大数据 文章标签： sparkx hadoop scala jdk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chy2z/article/details/80485070
版权
本文档详细介绍了如何配置java1.8、scala2.11.12以及hadoop2.7.6和spark-2.3.0的环境。在配置过程中，强调了安装目录不应含有空格以避免后续配置问题。安装完成后，通过在命令行中运行scala和spark-shell进行测试，以确保环境搭建成功。
摘要由CSDN通过智能技术生成
1 java1.8环境配置   安装目录不要有空格，否则后面配置hadoop很麻烦
   参考  jdk1.8配置 

2 scala环境配置
最低0.47元/天 解锁文章
黑暗行动
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2.3.0配置 spark_配置scala 2.11.12的spark-2.3.0 maven依赖项的问题
weixin_39850981的博客
01-26 1050
我在尝试在POM.xml中为spark-scala应用程序设置maven denpendency时遇到问题 .我在用 ：SCALA版本$ scalaWelcome to Scala 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_162).SPARK版本：$ ./spark-shellWelcome to SPARK version 2.3.0Using ...
hadoop&spark; 环境搭建教程
02-01
自己整理的一份hadoop及spark 环境搭建的详细教程，真实环境下搭建过程实录， 可以为你免去很多麻烦
Spark+Hadoop环境搭建
梦翼-的博客
06-17 8536
一、工具下载： 1、spark下载 目前最新的是2.1.1，spark 2.0开始api和之前的还是有比较多的变化，因此如果选择2.0以上版本，最好看一下api变化，下载地址：http://spark.apache.org/downloads.html 2、hadoop下载 目前最新的hadoop版本已经到了3.0了，可以根据你的选择需要的版本，下载地址：https://dist.apac
Hadoop2.7.6+Spark2.1.0分布式集群环境搭建
孑然一身踽踽而行
11-19 321
Hadoop2.7.6+Spark2.1.0分布式集群环境搭建 参考博文链接：https://www.cnblogs.com/purstar/p/6293605.htmlhttp://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 一、 修改host文件 1、在主节点，就是第...
【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装
热门推荐
赵延东的一亩三分地
03-31 17万+
一、安装spark依赖的Scala 因为其他版本的Spark都是基于2.11.版本,只有2.4.2版本的才使用Scala2.12. 版本进行开发，hudi官方用的是spark2.4.4，所以这里我们下载scala2.11.12。 1.1 下载和解压缩Scala 下载地址： 点击进入 下载linux版本： 在Linux服务器的opt目录下新建一个名为scala的文件夹，并将下载的压缩包上载上去： ...
windows10下spark2.3.0本地开发环境搭建-亲测
06-22 5938
 1  windows10下spark2.3.0本地开发环境搭建win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本：win10 家庭装，64位，x86处理器JDK1.8.0_171hadoop-2.7.6Spark-2.3.0Scala-2.11.8Maven-3.5.3ideaIC-2018.1.4.exespark-2.3.0-b...
Spark2.3.0集群安装（1）-集群安装
chy2z的专栏
02-17 551
1 准备工作 linux安装zookeeper3.4.11集群 linux安装hadoop集群（1）-准备工作 linux安装hadoop集群（2）-配置安装 2 scala环境安装   2.1 下载 https://www.scala-lang.org/download/2.11.12.html   2.2 解压 [root@hpmaster chy]# tar zxvf ...
winpythonhadoop_Python pycharm（windows版本）部署spark环境
weixin_39907939的博客
12-17 165
参考博文：https://www.cnblogs.com/nucdy/p/6776187.html一、 部署本地spark环境1.下载并安装好jdk1.8，配置完环境变量。2.Spark环境变量配置下载：http://spark.apache.org/downloads.html我下载的是spark-2.3.0-bin-hadoop2.7.tgz,spark版本是2.3，对应的hadoop版本是2...
大数据Hadoop之——Scala基础
匠人精神，持之以恒！
03-18 4331
文章目录一、概述二、Scala发展历史三、 Scala 和 Java 关系四、Scala 环境搭建 一、概述 Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言，当然Spark的兴起，也带动Scala语言的发展！官方文档：https://www.scala-lang.org/ 二、Scala发展历史 联邦理工学院的马丁·奥德
hadoop2.7.4 spark2.2.1 最新版本环境搭建
12-17
虚拟机3台服务器搭建集群环境，使用jdk1.8 ，最新的hadoop2.7.4 ，spark2.21。 提供给需要学习环境搭建人员的一点文档参考。 只是基础的环境搭建，不涉及具体开发技术逻辑，请选择下载。（ps：资源分最少只能选择2分，所以请见谅）
hadoop上的spark和Scala安装与配置
最新发布
m0_74752246的博客
04-25 876
进入 /opt/software/ 查看是否导入scala、spark包（刚开始就导入包了，这里直接查看）然后进行文件的托拽到（/opt/software）目录下，也可以复制哦（可以两个包一起导入）（2）进入 /opt/software/ 查看是否导入scala、spark包。然后用tar命令解压文件，解压到/usr/local/src/目录下。然后用tar命令解压文件，解压到/usr/local/src/目录下。（3）之后就进入/usr/local/src/目录。（2）配置spark的环境变量。
spark2.3.0 java版本_Hadoop3.2+Scala2.12.1+Spark2.3.3环境搭建
weixin_39695954的博客
02-28 563
安装java环境下载jdk，点击下载：因为接下来安装的Hadoop版本是3.0所以这里安装1.8JDK1、创建目录/usr/java# mkdir -p /usr/java2、将下载的jdk-8u60-linux-x64.tar.gz上传至/usr/java目录;3、解压jdk-8u60-linux-x64.tar.gz# tar -zxvf jdk-8u60-linux-x64.tar.gz4、...
Hadoop,Scala,Spark环境配置
累了就歇一会
03-29 4218
配置Hadoop 修改主机名 修改hosts 配置Java环境 解压安装 修改JAVA环境变量 测试安装是否成功 配置ssh ssh测试 ssh免密码登录 安装Hadoop 260 解压 移到指定目录 配置hadoop 验证 查看集群状态 查看hdfs 查看RM 运行WordCount程序 配置Hadoop环境变量 安装Scala 下载scala2114版本 解压并安装 增加环境变量 验证 copy
spark常见操作系列(1)--spark scala 以及hadoop不同版本的api区别
cafebar123的专栏
03-10 2034
spark常见操作系列 做数据处理有一段时间了,现把工作中遇到的问题和处理思路做个整理.文章分为5块,依次是: 1. spark hadoop,hbase 版本划分, 以及spark1.5.2,scala2.10.4 与spark2.0, scala2.11版本区别 2. spark读写hadoop 3. spark读写hbase 4. spark广播变量的应用 5. spar...
Hadoop2.7.4+Spark2.2.1+scala2.12.4环境搭建教程（一）
嫌疑人X的解忧杂货店
03-16 1065
这是第二次搭建Hadoop 环境，所以，顺利了许多，但是第一次搭建的时候并没有留下文字记录，所以就写一篇博客记录一下自己的搭建过程。一、概述在讲搭建过程之前，我觉得很有必要先要讲一下自己的各项环境，方便大家参考。首先，我用的Ubuntu 系统。话不多说先上图。    明确了系统版本之后，就是操作方法。我并不像网上已有的教程那样，用一个镜像新建三个虚拟机。而是用一个镜像，新建一个虚拟机，然后将这个虚...
mac安装ruby-oci8
weixin_30642029的博客
02-28 254
1.安装xcode 2.从oracle官网下载以下安装包 instantclient-basic-macos.x64-12.1.0.2.0.zip instantclient-sdk-macos.x64-12.1.0.2.0.zip 下载地址：http://www.oracle.com/technetwork/topics/intel-macsoft-096467.html 3.将下载的...
hadoop2.7.7+spark2.4.3+idea2020.1.4——搭建完全分布式集群+实现wordcount(MR和Spark本地及打jar包）-2022-12-18
feifeileill的博客
12-19 1318
hadoop2.7.7+spark2.4.3+idea2020.1.4搭建完全分布式集群，实现MR和Spark（基于scala）的简单使用，即以wordcount为例。可以作为初学MR分析和Spark分析的入门练习。
spark-2.4.5编译支持Hadoop-3.3.1和Hive-3.1.2
RockJim的博客
08-28 3084
spark-2.4.5编译支持Hadoop-3.3.1和Hive-3.1.2
hadoop2.7.6用spark
03-04
Hadoop 2.7.6是一个开源的分布式算框架，而Spark是一个快速、通用的大数据处理引擎。在Hadoop 2.7.6中使用Spark可以提供更高效的数据处理和分析能力。 要在Hadoop 2.7.6中使用Spark，首先需要安装和配置Spark。以下是使用Spark的一般步骤： 1. 下载和安装Spark：从Spark官方网站下载适用于Hadoop 2.7.6的Spark版本，并按照官方文档进行安装。 2. 配置Spark：在Spark的配置文件中，需要指定Hadoop的相关配置信息，如Hadoop的安装路径、HDFS的地址等。这样Spark才能与Hadoop进行交互。 3. 编写Spark应用程序：使用Scala、Java或Python等编程语言编写Spark应用程序。在应用程序中，可以使用Spark提供的API来进行数据处理、分析和计算。 4. 提交Spark应用程序：使用spark-submit命令将编写好的Spark应用程序提交到集群上运行。在提交应用程序时，需要指定相关的参数，如应用程序的主类、资源分配等。 5. 监控和管理Spark应用程序：通过Spark的Web界面或命令行工具可以监控和管理正在运行的Spark应用程序。可以查看应用程序的运行状态、任务进度等信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值