![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
小埋璐璐
这个作者很懒,什么都没留下…
展开
-
【spark】Local本地安装部署
下载Spark安装包下载地址:http://spark.apache.org/downloads.html上传安装包cd /export/soft/rztar -zxvf ./spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz -C …/servers/解压目录说明bin:可执行脚本conf:配置文件data:示例程序使用数据examples:示例程序jars:依赖 jar 包python:pythonAPIR:R 语言 APIsbin:集群管理命令ya原创 2020-12-28 11:29:15 · 243 阅读 · 0 评论 -
spark初介绍
介绍Apache Spark是用于大规模数据处理的统一分析引擎Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量硬件之上,形成集群官网:http://spark.apache.orghttp://spark.apachecn.org特点快:与Hadoop的MapReduce相比,Spark基于内存的运算要快100倍以上,基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流。原创 2020-12-28 11:06:21 · 150 阅读 · 0 评论