大数据
wolfchenxing
这个作者很懒,什么都没留下…
展开
-
Spark概述:基本架构及原理
文章目录一、什么是Spark?二、四大特性1.高效性2.易用性3.通用性4.兼容性三、Spark与Hadoop的区别四、生态圈五、基本架构六、运行流程1、整体流程2、四种运行模式七、运行架构特点1.Executor进程专属2.支持多种资源管理器3.Job提交就近原则4.移动程序而非移动数据的原则执行八、内存管理一、什么是Spark?Spark 是一个用来实现快速而通用的集群计算的平台。在速度...原创 2019-03-29 15:24:43 · 1489 阅读 · 0 评论 -
大数据技术原理与应用-大数据概述
介绍了大数据发展历程、基本概念、主要影响、应用领域、关键技术、计算模式和产业发展,并阐述了云计算、物联网的概念及其与大数据之间的紧密关系。原创 2019-04-02 13:30:11 · 3873 阅读 · 0 评论 -
大数据技术原理与应用-大数据处理架构Hadoop
介绍Hadoop的发展历史、重要特性和应用现状,并详细介绍Hadoop项目结构及其各个组件,最后,演示如何在Linux操作系统下安装和配置Hadoop。原创 2019-04-22 11:23:43 · 2038 阅读 · 0 评论 -
大数据技术原理与应用-分布式文件系统HDFS
首先介绍分布式文件系统的基本概念、结构和设计需求,然后介绍Hadoop分布式文件系统HDFS,详细阐述它的重要概念、体系结构、存储原理和读写过程,最后,介绍了一些HDFS编程实践方面的知识。原创 2019-04-22 16:08:58 · 911 阅读 · 0 评论