大数据
文章平均质量分 81
T_Donna
大数据专业 软件工程师
展开
-
win10安装spark及其环境配置
win10安装spark及其环境配置所需安装包1. JDK2. Hadoop3. Spark & Scala验证是否成功 所需安装包 JDK + 环境配置 Hadoop + 环境配置 Spark + 环境配置 Scala + 环境配置 1. JDK jdk官网下载:根据自己电脑环境来选择版本安装,博主自己安装的是jdk13(以前就装好的) 然后在环境变量中添加路径: 新增 变量名:JAVA_HOME 变量值: jdk安装路径 变量名: CLASSPATH 变量值:%JAVA_HOM原创 2021-07-29 17:20:35 · 1258 阅读 · 0 评论 -
Spark框架学习笔记(1.spark概述)
Spark框架一、Spark概述1.1 Spark是什么1.2 Spark & Hadoop1.3 Spark / Hadoop(1)Hadoop MapReduce(2) Spark 一、Spark概述 1.1 Spark是什么 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 1.2 Spark & Hadoop Spark与Hadoop的区别: Hadoop: 用java编写,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架 作为Hadoop分布式文件原创 2021-07-27 16:58:48 · 131 阅读 · 0 评论