spark
MirandaGirl2018
这个作者很懒,什么都没留下…
展开
-
Hadoop基础
转载地址:https://www.cnblogs.com/gala1021/p/8552850.html Q1.什么是 Hadoop? Hadoop 是一个开源软件框架,用于存储大量数据,并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之,Hadoop 包括以下内容: HDFS(Hadoop Distributed File System,Hadoop 分布...转载 2018-09-09 22:09:04 · 210 阅读 · 0 评论 -
Spark和Hadoop基础知识
spark和hadoop初步掌握,参考:http://www.aboutyun.com/thread-24246-1-1.html <1> spark有哪些组件? 答:主要有如下组件: 1)master:管理集群和节点,不参与计算。 2)worker:计算节点,进程本身不参与计算,和master汇报。 3)Driver:运行程序的main方法,创建spark context对象...转载 2018-08-30 21:27:42 · 3797 阅读 · 0 评论