[Spark基础]--雾计算

wiki解释

雾计算英语:Fog Computing)或雾联网fog networking,或fogging),是使用最终用户终端设备或连接最终用户设备的边缘设备,以分布式协作架构进行数据存储(相较于将数据集中存储在云数据中心),或进行分布式网络数据包传输通信(相较于通过互联网骨干路由),或相关分布式控制或管理。雾计算是由思科(Cisco)在2014年所提出的概念[1],为云计算的延伸,这个架构可以将计算需求分层次、分区域处理,以化解可能出现的网络塞车现象。

雾计算的应用和物联网(IOT)及智能联网(M2M)有密不可分的关系。在物联网中,我们日常使用中的大多数设备将被彼此连接,最为具体精神概念为缩短处理数据时间,亦TSN(Time Sensative Networking),多数应用为医疗,智能工厂 , 智能车 ,智能电网等 在讲求AI的这个时代,雾计算可以协助后台计算运作更有效率 , 在靠近IOT DEVICE端就具备计算,监视,收集数据的功能, 之后再将数据传至数据中心做更随为大量的数据分析及演算


知乎回答

作者:视界云
链接:https://www.zhihu.com/question/50879568/answer/260088823
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

雾计算最初是由美国纽约哥伦比亚大学的斯特尔佛教授(Prof. Stolfo)起的,当时的意图是利用“雾”来阻挡黑客入侵。

没成想美国思科公司把这个名词嫁接了过去并得到了发扬光大,也就是我们现在所讨论的「雾计算」!

雾计算:可理解为本地化的云计算

现在正在流行的“云计算”,是把大量数据放到“云”里去计算或存储,解决诸如电脑或手机存储量不够,或者是运算速度不够快的问题

<img src="https://pic4.zhimg.com/50/v2-c5663cc3b0480382af3864de35b482c9_hd.jpg" data-size="normal" data-rawwidth="640" data-rawheight="409" class="origin_image zh-lightbox-thumb" width="640" data-original="https://pic4.zhimg.com/v2-c5663cc3b0480382af3864de35b482c9_r.jpg"> 参自Cisco:雾计算原始定义图示

在终端和数据中心之间再加一层,叫网络边缘层。如再加一个带有存储器的小服务器或路由器,把一些并不需要放到“云”的数据在这一层直接处理和存储,以减少“云”的压力,提高了效率,也提升了传输速率,减低了时延,这个工作原理其实就可以理解为:雾计算

雾计算和云计算相比,显得更接地气了一些!

云计算重点放在研究计算的方式,雾计算更强调计算的位置。

雾计算相较云计算更贴近地面!更具体些说,它们在网络拓扑中的位置不同!

雾计算和云计算实际上又存在有很多相似之处:如都基于虚拟化技术,从共享资源池中,为多用户提供资源服务等。

相对于云计算来说,雾计算离产生数据的地方更近,“雾比云更贴近地面”的说法不是没有道理的!

“雾计算介于云计算和个人计算之间的,是半虚拟化的服务计算架构模型。此外,雾计算实际上并没有强力的计算能力,雾计算是将物理上分散的计算机联合起来,形成较弱的计算能力,不过这样的计算能力对于中小型的数据中心,完全够用了”

如果说CDN是弥补TCP/IP本地化缓存问题,那么雾计算就是弥补云计算本地化计算问题!

雾计算 VS 云计算 有以下几个明显的特点:

更轻压:计算资源有限相比较云平台的构成单位——数据中心,雾节点更加轻!雾计算能够过滤,如聚合用户消息(如不停发送的传感器消息),只将必要消息发送给云,减小核心网络压力

更低层:雾节点在网络拓扑中位置更低,拥有更小的网络延迟(总延迟=网络延迟 计算延迟),反应性更强

更可靠:雾节点拥有广泛的地域分布,为了服务不同区域用户,相同的服务会被部署在各个区域的雾节点上,使得高可靠性成为雾计算的内在属性,一旦某一区域的服务异常,用户请求可以快速转向其他临近区域,获取相关的服务。此外,由于使用雾计算后,相较云计算减少了发送到云端和从云端发送的数据量,和云计算相比延迟更短,安全风险也得到了进一步的降低!

更低延:除了物联网的应用外,网上游戏、视频传输、AR等也都需要极低的时延,这点雾计算也是有所发挥的

更灵便:雾计算支持很高的移动性,手机和其他移动设备可以互相之间直接通信,信号不必到云端甚至基站去绕一圈!此外,雾计算也支持实时互动、多样化的软硬件设备以及云端在线分析等

更节能:雾计算节点由于地理位置分散,不会集中产生大量热量,因此不需要额外的冷却系统,从而减少耗电,雾计算更省电!

雾计算以及边缘计算、海计算而言等等的出现,不是用来代替云计算,更多的是对云计算“bug类”问题的修修补补,本质上是作为云计算的延伸拓展而诞生的产品和理念!


  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Spark是一个开源的大数据处理框架,可以处理大规模的数据集。而Spark SQL是Spark中的一个模块,用于处理结构化数据,支持SQL查询和DataFrame API。Spark SQL可以将结构化数据存储在分布式的列式存储系统中,并提供了高效的查询引擎,可以在大规模数据集上进行快速的查询和分析。Spark SQL还支持多种数据源,包括Hive、JSON、Parquet等。 ### 回答2: Spark是一个开源的大数据处理工具,它主要的特点是速度快、易于扩展和支持多种语言。Spark可以用于批处理、实时处理、机器学习、图处理、流处理等多个领域,并且可以在大多数基础设施上运行,如Hadoop、Mesos、Kubernetes等,为企业提供了更加便利灵活的大数据处理方案。 Spark SQL是Spark中的一个模块,它提供了一个基于SQL的接口以及齐全的支持,让用户可以方便地在Spark上进行结构化数据处理,如数据查询、聚合、过滤等。Spark SQL的优势在于其性能优异,它可以在不同的数据源上运行,包括Hive、Avro、Parquet等。 Spark SQL模块的核心组件为Catalyst,它是一个基于规则的优化器,可以自动优化查询计划,提高整体查询速度。Spark SQL支持多种查询API,包括SQL、DataFrame API和DataSet API,用户可以根据自己的需求选择不同的API来处理数据。 另外,Spark SQL支持数据格式的灵活转换,可以将不同数据源中的数据转换为DataFrame或DataSet格式,并且提供了丰富的数据源集成插件,如JDBC、MongoDB、Cassandra等。 总之,Spark以其快速、灵活、易于扩展的特性帮助企业更好地管理和处理大规模结构化数据,而Spark SQL则是Spark的重要组成部分,它提供SQL接口和优化器,让用户可以更加方便地处理和分析结构化数据。 ### 回答3: Spark是一个开源分布式数据处理框架,可以快速处理大规模数据集,支持多种数据源和数据处理方式,具有高效的计算能力和可扩展性。Spark SQL是Spark中的一个子项目,提供了一种基于SQL的接口,可以将结构化数据集集成到Spark中,支持SQL查询、数据聚合、连接和过滤等操作。Spark SQL支持多种数据源,包括Hive表、JSON、Parquet和CSV格式等,同时也支持DataFrame和Dataset等高级数据结构。Spark SQL还提供了Java、Scala和Python等多种编程语言接口,以便各种开发人员利用Spark SQL进行数据处理和分析。 Spark SQL的一个重要特性是DataFrame,它是一个分布式的数据集合,类似于关系型数据库中的表格,但是可以横向扩展到大规模数据集。DataFrame提供了Schema(数据结构)的定义和数据类型的推导,可以简化代码编写和数据处理过程。在Spark SQL中,DataFrame可以通过API进行操作,也可以通过SQL查询进行操作。Spark SQL还支持多种数据格式之间的转换,例如从JSON格式转换为Parquet格式,从CSV格式转换为Hive表格等。 Spark SQL的一个优势是可以与其他Spark组件集成,例如Spark Streaming、MLlib和GraphX等,使得数据处理和分析更加高效和简洁。Spark Streaming可以将实时数据处理与批处理数据处理相结合,使得数据处理和分析更加完整和有力。MLlib提供了机器学习算法的实现,可以快速进行数据挖掘和模型训练。GraphX提供了图形计算的能力,可以进行大规模的网络分析和数据可视化。 总之,Spark SQL是一个强大的数据处理框架,可以快速处理各种结构化数据集,并且可以与其他组件集成,实现高效的数据分析和挖掘。随着大数据时代的到来,Spark SQL将成为数据科学和工程师的必备工具之一。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值