基于spark大数据处理开发(java)软件安装与配置

最新推荐文章于 2021-11-24 16:03:29 发布
最新推荐文章于 2021-11-24 16:03:29 发布
阅读量332 收藏
点赞数
分类专栏： 大数据处理 文章标签： spark java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yselin_c/article/details/114936002
版权
本文详细介绍了在win10环境下，如何进行基于Spark的大数据处理开发软件的安装与配置，包括JDK、Spark、Hadoop、Scala、IntelliJ IDEA和Maven的安装步骤及环境变量配置。
摘要由CSDN通过智能技术生成

win10基于spark大数据处理开发(java)软件安装与配置

目录

win10基于spark大数据处理开发(java)软件安装与配置

1、jdk安装与配置

2、spark安装与配置

3、hadoop安装与配置

4、scala2.12安装

5、IDE软件IntelliJ IDEA安装

6、Maven安装与配置

1、jdk安装与配置

jdk下载地址

下载好安装包后，双击，首次安装只需默认地址就好，最好默认安装在C盘。注意jdk和jre地址不能重复。

配置环境变量

(1)新建->变量名"JAVA_HOME"，变量值C:\Program Files\Java\jdk1.8.0_281（即JDK的安装路径）

(2)编辑->变量名"Path"，添加上 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin

(3)新建->变量名"CLASSPATH" ,变量值.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar（注意最前面有一点）

cmd输入java -vers

最低0.47元/天 解锁文章
Yselin_cl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark环境搭建java_Spark环境搭建
weixin_36316642的博客
02-16 830
一、Java安装1、安装目录准备在安装这些包之前在家目录下创建一个app的目录，app目录中创建一个tmp目录：[root@hadoop-master ~]#mkdir -p app/tmp2、解压JDK上传JDK1.8版本jdk-8u74-linux-x64.tar.gz到linux上，并且将其解压到app目录下：[root@hadoop-master ~]#tar -xzvf jdk-8u7...
基于Spark的大数据分析平台的设计与实现
07-17
数据分析实现采用Scala编程语言进行实现，通过Spark SQL进行对数据的处理，并把结果存储到MySQL中，最后通过数据可视化技术把数据展示出来
java spark环境配置文件_Spark安装及环境配置
weixin_33228769的博客
02-13 1226
前篇文章介绍了scala的安装与配置、接下来介绍一下spark的安装及环境配置。1、Apache spark下载在浏览器输入网址https://spark.apache.org/downloads.html进入spark的下载页面，如下图所示：下载时需要注意的是在第1步选择完spark版本之后的第2步“choosea package type ”时，spark与hadoop版本必须配合使用。因为s...
java安装步骤_Spark 安装教程
weixin_39918043的博客
11-30 84
Spark是Hadoop的子项目。 因此，最好将Spark安装到基于Linux的系统中。 以下步骤说明如何安装Apache Spark。步骤1：验证Java安装Java安装是安装Spark的强制性要求之一。 尝试使用以下命令验证JAVA版本。如果Java已经，安装在系统上，你能看到以下响应 。如果您没有在系统上安装Java，请在继续下一步之前安装Java。步骤2：验证Scala安装你应该使用Sca...
安装spark
weixin_45761237的博客
11-24 1187
安装spark
基于Spark的推荐系统的设计与实现
06-20
推荐系统是数据挖掘的一个重要部分,能够实现海量数据信息的快速、全面、准确过滤。然而基于以往传统单个主机模式实现的推荐算法其计算过程耗费的时间过长,已经不能满足当前商业时代快速可靠的技术追求。大数据平台Spark分布式计算框架通过引入RDD(弹性分布式数据集)的概念以及基于内存的运算模式,能够更好的适应大数据挖掘这一应用场景。推荐算法在实现过程中存在多次迭代计算,Spark计算框架的使用可以极大提升推荐系统的运算效率。本文利用Spark平台设计了一个基于物品的协同过滤(Item-CF)算法的商品推荐系统,并将其应用在Movie Lens数据集上运行测试。实验结果表明,该系统能够提高推荐精确度并降低运算时间,为继续深入研究大数据平台的推荐算法提供借鉴和帮助。
基于Scala和Java的Spark大数据处理框架设计源码
04-12
本项目基于Scala和Java开发，包含2049个文件，包括字节码文件、Markdown文档、Scala源代码、Java源代码、数据文件、PNG图片、...系统实现了基于Spark的大数据处理框架功能，界面友好，功能完善，适合用于大数据处理。
基于Java的Spark数据处理示例设计源码
最新发布
04-18
本项目是基于Java的Spark数据处理示例设计源码，共包含157个文件，其中主要包含136个Java源代码文件，3个gitignore文件，3个xml配置文件，3个parquet数据文件，3个json数据文件，2个avsc文件，2个txt文本文件，1个...
基于Scala的Apache Spark大数据处理设计源码
03-28
Apache Spark 是一个强大的分布式计算框架，专为大数据处理而设计，其核心特性是高效的数据缓存和快速的数据处理。在本项目中，源码使用了Scala作为主要开发语言，同时也结合了Java和Python，展示了Spark的多语言...
Spark大数据处理
微信搜：import_bigdata，大数据领域硬核原创作者
03-25 468
Spark大数据处理：
spark配置文件
09-23
官网下载的源码，需要进行相应配置才能运行
spark开发教程
csdn_wr的博客
05-18 2010
spark开发教程 目录spark开发教程前言一、初始化spark二、获取数据源创建数据结构连接外部数据textfile2.读入数据总结 前言 spark开发主要的基于RDD、Datasets、DataFrame、sql 。其中rdd是最核心的底层，Datasets、DataFrame、sql都是基于rdd封装的高级api，dataframe是datasets的一种（类型为row）。 一、初始化spark 一个spark脚本的提交，会产生一个driver，如何通过把driver的运行逻辑传递给各个exe
java spark环境配置文件_【Spark】配置Spark源码阅读环境
weixin_26763955的博客
02-24 152
Scala构建工具(SBT)的使用SBT介绍SBT是Simple Build Tool的简称，如果读者使用过Maven，那么可以简单将SBT看做是Scala世界的Maven，虽然二者各有优劣，但完成的工作基本是类似的。虽然Maven同样可以管理Scala项目的依赖并进行构建，但SBT的某些特性却让人如此着迷，比如：使用Scala作为DSL来定义build文件(one language rules ...
java spark环境配置文件_spark基础学习-环境搭建（windows+Java）
weixin_36355328的博客
03-04 161
1、jdk安装jdk下载、安装以及环境变量的配置在此不做赘述。2、Scala安装下载地址：下载Windows对应的.msi文件，完成后双击执行安装。安装成功后会自动将Scala的bin目录添加到系统变量path中，若path中没有则按照JAVA的方法将Scala的bin目录添加到系统变量中验证win+r-->cmd-->scala，若出现以下信息则说明安装成功：3、spark安装下载地...
Java Scala Spark安装及配置
AthlenaA的博客
11-28 788
Java 把JAVA环境变量设置到“WINDOWS系统变量"中是最简单的方式，也是对多用户环境下有利的方式。 随着JAVA版本的升级、WINDOWS操作系统的升级、ECLIPSE愈加智能化。一些设置不是必须的，比如JAVA_HOME的设置。 下面是有兼容性的JAVA环境变量设置方式。 1.软件环境如下所示： 操作系统 WINDOWS 10 JAVA JDK 1.8 2.WINDOW环境变量对话框位...
java大作业_Apache Spark处理大数据入门，看这一篇就够了
weixin_39878401的博客
11-27 359
什么是SparkApache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（...
spring2.4.6 本地模式启动报错java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
huying915的专栏
08-28 349
spring2.4.6 本地模式启动报错java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream maven添加依赖: <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2..
Spark安装 （含JAVA, Hadoop安装）
bmwlwg的博客
01-28 1117
Part I. 安装软件 为了安装Spark，本次安装同时安装了JAVA1.8, Hadoop2.7.7和Spark-2.4.4, 具体如下： Part II. JAVA安装 Java 下载地址： https://www.oracle.com/technetwork/java/javase/downloads/index.html 2.1 JAVA安装 主要是JDK安装。 ...
Spark最详细安装和介绍--JavaApi!!!!!!!
04-07 4261
Spark概述 Spark官方介绍： Spark是什么? Apache Spark是用于大规模数据处理的统一分析引擎 Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。 官网 http://spark.apache.org http://spark.apachecn.org Spark特点 快 ...
Spark大数据处理分析系统设计与实现
"基于Spark的数据处理分析系统的设计与实现" 本文主要探讨了基于Apache Spark的数据处理分析系统的构建与实现，这是针对当前大数据爆炸性增长背景下，应对海量数据处理挑战的一个重要解决方案。Spark作为一个快速、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值