spark
Mei_ZS
这个作者很懒,什么都没留下…
展开
-
Spark 官方文档(2)——集群模式
Spark 官方文档(2)——集群模式 Spark版本:1.6.2 简介:本文档简短的介绍了spark如何在集群中运行,便于理解spark相关组件。可以通过阅读应用提交文档了解如何在集群中提交应用。组件spark应用程序通过主程序的SparkContext对象进行协调,在集群上通过一系列独立的处理流程运行。为了便于迁移,SparkCont...转载 2019-05-05 17:44:29 · 143 阅读 · 0 评论 -
spark 官方文档(1)——提交应用程序
spark 官方文档(1)——提交应用程序 Spark版本:1.6.2spark-submit提供了在所有集群平台提交应用的统一接口,你不需要因为平台的迁移改变配置。Spark支持三种集群:Standalone、Apache Mesos和Hadoop Yarn。绑定应用程序依赖库如果你的应用程序依赖其他项目,需要将其一起打包,打包时需要包括依...转载 2019-05-05 17:47:32 · 208 阅读 · 0 评论 -
Spark 官方文档(4)——Configuration配置
Spark 官方文档(4)——Configuration配置 Spark可以通过三种方式配置系统:通过SparkConf对象, 或者Java系统属性配置Spark的应用参数通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量通过log4j.properties配置日志属性Spark属性Spark属性可以为每个应用...转载 2019-05-05 17:53:06 · 419 阅读 · 0 评论 -
Spark 官方文档(5)——Spark SQL,DataFrames和Datasets 指南
Spark 官方文档(5)——Spark SQL,DataFrames和Datasets 指南 Spark版本:1.6.2概览Spark SQL用于处理结构化数据,与Spark RDD API不同,它提供更多关于数据结构信息和计算任务运行信息的接口,Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames AP...转载 2019-05-05 17:57:09 · 277 阅读 · 0 评论 -
Spark之本地模式与集群模式
Spark之本地模式与集群模式 原文:https://bl...转载 2019-05-08 20:46:12 · 301 阅读 · 0 评论 -
大数据组件图谱
转载地址:http://blog.csdn.net/u010039929/article/details/70157376大数据组件图谱文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台文件系统 HDF...转载 2019-06-21 14:06:16 · 1255 阅读 · 0 评论 -
大数据常用组件总结
转载自https://blog.csdn.net/baidu_28398971/article/details/70821114 Hadoop生态圈各常用组件介绍Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是Y...转载 2019-06-21 14:14:55 · 8769 阅读 · 0 评论