Spark
记录spark基础实战等
小青新...
孤独本是常态,在平常中打造绝对实力!
展开
-
IDEA中创建maven工程进行本地运行spark
文章目录一、开始1.背景二、创建、插件、编写1.创建2.插件3.代码三、上传、结果一、开始1.背景使用idea开发工具进行WordCount程序,也就是在本地进行spark的计算,真的很快很快,比Hadoop要快很多。这个是在生产环境中测试spark,虽然在spark-shell上测试的比较多,但是这样的我们也得会呀,关键是idea不平凡呀,这么好的软件不好好利用,好了,走程序,我们在idea中编写好程序然后打成jar包,最后提交到集群hdfs上。二、创建、插件、编写1.创建1.创建一个M原创 2020-06-13 19:21:42 · 760 阅读 · 0 评论 -
Spark的安装与配置过程
一、Spark 概述1.了解1、定义:Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。2.诞生:2009年诞生于加州大学伯克利分校AMPLab,项目采用Scala编写。2010年开源;2013年6月成为Apache孵化项目2014年2月成为Apache顶级项目。2.Spark 内置模块及特点1.spark是基于内存计算的大数据并行计算框架,并且它适合各种各样的分布式平台系统。网上可以查看spark的生态环境。由生态环境也可以看出spark主要包含了Spark Core、S原创 2020-06-13 17:44:21 · 1877 阅读 · 0 评论