![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
JAVA和人工智能
探索Java编程深度,解码人工智能奥秘。分享技术干货,洞察行业趋势,搭建程序思维桥梁,与你共赴科技未来。欢迎关注公众号:JAVA和人工智能
展开
-
分布式系统详解--框架(Spark-简介)
分布式系统详解--框架(Spark-简介)一、定义Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎,Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。二、优势特点Spark,拥有Hadoop MapReduce所具有的优点;但不...翻译 2018-10-29 16:08:51 · 830 阅读 · 0 评论 -
分布式系统详解--框架(Spark-安装部署)
分布式系统详解--框架(Spark-安装部署) 在Spark 2.0之前,Spark的主要编程接口是弹性分布式数据集(RDD)。在Spark 2.0之后,RDD被数据集取代,数据集类似于RDD一样强类型,但在底层有更丰富的优化。仍然支持RDD接口,您可以在RDD编程指南中获得更完整的参考。一、安装简介Spark运行环境: ...翻译 2018-10-30 15:37:32 · 398 阅读 · 0 评论 -
Spark-集群安装、部署、启动、测试(1.6.3)稳定版
Spark-集群安装、部署、启动、测试(1.6.3版)一、下载地址:http://spark.apache.org/releases/spark-release-1-6-3.html二、安装将其放在Linux的目录中,解压我解压的目录是:/usr/local/spark-1.6.3-bin-hadoop2.6三、配置spark3.1 进入...原创 2018-11-13 10:21:23 · 1215 阅读 · 0 评论 -
Scala +Spark+Hadoop+Zookeeper+IDEA实现WordCount单词计数(简单实例-上)
IDEA+Scala +Spark实现wordCount单词计数-上一、新建一个Scala的object单例对象,修改pom文件(1)下面文章可以帮助参考安装 IDEA 和 新建一个Scala程序。IntelliJ IDEA(最新)安装-破解详解--亲测可用 Intellij IDEA+Maven+Scala第一个程序(2)pom文件<...原创 2018-11-13 17:02:55 · 610 阅读 · 0 评论 -
Scala+Spark+Hadoop+IDEA实现WordCount单词计数,上传并执行任务(简单实例-下)
Scala+Spark+Hadoop+IDEA上传并执行任务本文接续上一篇文章,已经在IDEA中执行Spark任务执行完毕,测试成功。上文链接:Scala +Spark+Hadoop+Zookeeper+IDEA实现WordCount单词计数(简单实例)一、打包1.1 将setMaster注释掉package day05import o...原创 2018-11-15 10:27:47 · 1241 阅读 · 0 评论 -
Spark-RDD简介以及算子实例
Spark-RDD简介以及算子实例一、RDD概述1.1 什么是RDD?RDD(Resilient Distribute Dataset)叫做分布式数据集。式Spark最基本的数据抽象。它代表一个不可变,可分区,里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感应性调度和可伸缩性。RDD运行多个...翻译 2018-11-20 14:21:01 · 957 阅读 · 1 评论