大数据
文章平均质量分 54
_正在学技术的胖子
这个作者很懒,什么都没留下…
展开
-
Hadoop起源以及Google三篇论文介绍
什么是大数据?大数据核心的问题有: 1、海量数据如何存储? 2、海量数据如何计算?大数据解决了以上两个问题。举两个例子: 1、大型电商网站的商品推荐,海量的历史的售卖数据如何存储?如何从海量的历史售卖数据中计算出盈利最大化的数据推荐给用户? 2、天气预报,海量的天气数据如何存储?如何从海量的历史数据中计算预测出未来的天气?传统数据处理过程与大数...原创 2018-08-29 07:55:59 · 17916 阅读 · 2 评论 -
Spark 的架构原理
本文旨在记录自己所学的大数据知识。本文素材来源于李智慧老师的《从0开始学大数据》,李老师讲的大数据课程既有教相关知识的,也有教我们如何学习,如何思考的,讲的非常好。 Spark 也遵循移动计算比移动数据更划算这一大数据计算基本原则 相关概念:计算阶段,依赖关系,DAG,Spark应用,任务集合 一、Spark的计算阶段1、Spark计算本质上也是Map和reduce组成...原创 2018-12-08 18:56:23 · 614 阅读 · 0 评论 -
四 Spark应用提交与调试总结
一、Spark提交应用程序步骤1、进入Spark安装目录/bin,调用spark-submit脚本2、在脚本后面指定参数1、--class 指定应用主类2、--master 指定应用运行模式,有local、local[n]、spark://集群url:port、Mesos、Yarn-client、Yarn-cluster3、【可选】可以指定 --deploy-mode为clie...原创 2018-12-04 08:36:08 · 399 阅读 · 1 评论