spark
董洞洞同学
这个作者很懒,什么都没留下…
展开
-
ubuntu18简单安装Spark3,pySpark,scala, SBT和java11
目录0.环境说明1.安装Java2.安装Scala和SBT3.安装Spark3 0.环境说明 本机ubuntu18,python3是anaconda的,之前要安装java环境和scala 1.安装Java 阅读Scala官方安装教程,需要Java11或者Java8的环境, Scala地址。我选择安装Java11.(我采用非源码默认版本安装,ubuntu18极其以上系统都行)。链接: 其他安装方式参考. sudo apt-get update #安装OpenJDK,这是Java运行的环境 sudo apt i原创 2020-11-17 23:34:25 · 577 阅读 · 0 评论 -
基础知识
1. MapReduce:计算框架和编程模型 1.1 google的三驾马车 SOSP2003:The Google File System;分布式文件系统 ODSI2004:MapReduce : Simplifed Data Processingon Large Clusters;分布式计算框架 ODSI2006:Bigtable : A Distributed Storage System...原创 2020-04-21 21:55:46 · 221 阅读 · 1 评论