以此记录自己的笔记,并跟大家分享,还有很多优秀文章,喜欢的话点个关注哦~
Hadoop
Hadoop和spark
参考文献: https://www.zhihu.com/question/32326748/answer/57393279
Hadoop是由Apache基金会所开发的分布式系统基础架构
Hadoop主要包括:
Hadoop分布式文件系统:一个分布式的、面向块的、不可更新的、高度伸缩性的、可运行在集群中普通硬盘上的文件系统
MapReduce框架:一个基本的在集群中一组标准硬件上执行的分布式计算框架
YARN :Hadoop生态集群中默认的资源管理器
Hive :构建在MapReduce框架之上的类SQL查询引擎
Hbase:基于HDFS的键值对存储系统为Hadoop提供了联机事务处理(OLTP)能力
Spark而言是专为大规模数据处理而设计的快速通用的计算引擎,实际上现阶段其还不够成熟
Spark主要包括:
Spark Core :用于通用分布式数据处理的引擎
Spark Sql :运行在Spark上的SQL查询语句支持一系列SQL函数和HiveQL
Spark Streaming:基于spark的微批处理引擎
MLlib:构建在spark之上的机器学习库
IaaS:就是台服务器。
PaaS:就是Tomcat加MySQL。
SaaS:就是三千块一套的加个Logo就能开业的电商网站。
云计算像在每个不同地区开设不同的自来水公司,没有地域限制,优秀的云软件服务商,向世界每个角落提供软件服务——就像天空上的云一样,不论你身处何方,只要你抬头,就能看见!
“云计算”的五大特点:
1.大规模、分布式 2.虚拟化 3.高可用性和扩展性 4.按需服务,更加经济 5.安全
参考文献:https://www.zhihu.com/question/32326748/answer/274316084
相关知识补充
学完了这些知识,还想在来点干货吗?
别急我给你都准备了!
云计算基础知识–Hadoop,spark,MapReduce,Hbase,IaaS,PaaS,SaaS
整理笔记——《云计算发展白皮书 (2020 年)》中国信通院:速读,一篇文章了解云计算的前世今生!
都看到这里了,不如点个赞哦~