大数据
weixin_42138396
学生
展开
-
sqark简介
Spark是什么 Spark是基于内存计算的大数据并行计算框架 Spark是MapReduce的替代方案 Spark与Hadoop Spark是一个计算框架,而Hadoop中包含计算框架MapReduce和分布式文件系统HDFS,Hadoop更广泛地说还包括在其生态系统上的其他系统. Spark的优势 中间结果输出 基于MapReduce的计算引擎通常会将中间结果输...原创 2019-10-14 12:16:47 · 521 阅读 · 0 评论 -
一个大数据架构师应该掌握的技能
硬能力 一:平台建设 1.行业平台 1)大平台 谷歌云 亚马逊云 阿里云 腾讯云 网易云 华为云 2)小平台 国云 国双 青云 勤思 3)专业工具平台 海致BDP 永洪 易观 4)APP分析平台 mix panel growing IO ...转载 2019-10-14 12:08:36 · 1214 阅读 · 0 评论 -
常见大数据实时流处理框架的简介
这里对目前业界开源的一些实时流处理系统做一次小结 S4 S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台,它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台,在该平台上程序员可以很方便地开发面向无界不间断流数据处理的应用,开发语言为Java。 项目链接:http://incubator.apac...原创 2019-10-14 12:02:27 · 645 阅读 · 0 评论