计算机网络学习笔记(1)概述

一、因特网的组成

(1) 边缘部分:由所有链接在因特网的主机(end system 终端)组成。

(2) 核心部分:由大量网络和连接这些网络的路由器组成。

二、两种通信方式

(1) 客户--服务器方式(C/S)

(2) 对等方式(P2P)

三、分组交换

1、在发送端,先把较长的报文划分成较短的、固定长度的数据段,每一个数据段前面添加一个首部构成分组。接收端则把收到的数据恢复成原来的报文。

2、路由器处理分组的过程:

(1) 把收到的分组先放入缓存,暂时存储。

(2) 查找转发表,找到某个目的地址应该从哪个端口转发。

(3) 把分组送到适当的端口转发出去。

 3、分组交换的优点:高效、灵活、迅速、可靠。缺点是:在各结点存储转发时需要排队,会造成一定的时延;分组必须携带的首部要增加一部分开销。

四、几种不同类别的网络

1、从网络作用范围分类:

(1) 广域网 WAN  几十到几千公里

(2) 城域网 MAN   5-50公里

(3) 局域网 LAN    1公里左右

(4) 个人区域网 PAN    10米左右

2、从网络的使用者分类

(1)  公用网public network

(2)  私用网private network

五、时延

总时延=发送时延+传播时延+处理时延+排队时延

1、发送时延:也就是从发送的第一个比特算起,到数据的最后一个比特发送完毕所需要的时间。

2、传播时延:电磁波在信道中传播需要一定的距离而花费的时间

3、处理时延:交换结点为处理存储转发而进行一些必要的处理所花费的时间。

4、排队时延:结点缓存队列中分组排队所经历的时间。

信道或网络利用率过高会产生非常大的时延。

六、计算机网络体系结构

1、具有五层协议的体系结构

(1) 应用层 (application layer) 是体系结构的最高层,直接为用户的应用进程提供服务。这一层的协议很多,比如:支持万维网应用的HTTP协议,支持电子邮件的SMTP协议,支持文件传输的FTP协议。

(2)  运输层 (transport layer)负责向两台主机中进程之间的通信提供服务。主要有2种协议:传输控制协议TCP(Transmission Control Protocol)面向连接的,数据传输的单位是报文段(segment),能够提供可靠的交付。用户数据报协议UDP(User Datagram Protocol)无连接的,数据传输单位是用户数据报,不保证提供可靠的交付,只提供“尽最大努力交付”(best-effort delivery).

(3)  网络层(network layer)负责为分组交换网上不同的主机提供信息服务。在发送数据时,网络层将运输层产生的报文段或用户数据报封装成分组或包(packet)进行传送。在TCP/IP体系中,由于网络层使用IP协议,因此分组也叫IP数据报,或简称数据报。网络层也叫IP层

(4)  数据链路层(data link layer)将网络层交下来的IP数据报组装成帧(framing)在两个相邻结点间的链路上“透明”的传输帧中的数据。每一帧包括数据和必要的控制信息(如 同步信息、地址信息、差错控制等)

(5) 物理层(physical layer)“透明”的传送比特流。


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Spark是一个开源的大数据处理框架,它提供了高效的数据处理能力和易用的API,支持多种数据处理模式,包括批处理、流处理和机器学习等。Spark的核心是分布式计算引擎,它可以在集群中运行,利用多台计算机的计算能力来处理大规模数据。Spark的优势在于其高效的内存计算和强大的数据处理能力,可以在处理大规模数据时提供更快的计算速度和更高的性能。Spark的生态系统也非常丰富,包括Spark SQL、Spark Streaming、MLlib和GraphX等组件,可以满足不同的数据处理需求。 ### 回答2: Spark是一种大规模数据处理引擎,可以较快地处理大数据。Spark并不是单独的一种工具,而是一系列的工具和库的整合。它具备高效的内存计算功能,能够在数秒或数分钟内完成数据处理任务。 Spark的核心是分布式计算引擎,通过将数据分成多个部分进行处理,缩短了计算时间。Spark基于RDD(弹性分布式数据集)进行数据处理,RDD是一种可缓存、可重用和容错的数据结构。RDD抽象了数据分布和分区,提供了简单的API。 Spark的架构包括四个组件:Driver、Cluster manager、Worker、和 Executor。其中Driver是Spark应用程序的主程序,Cluster manager通过Master节点来管理各个Worker节点,Worker节点包含了整个Spark集群的计算资源,Executor执行计算任务。 Spark支持多种编程语言,包括Scala、Java、Python和R。其中Scala是Spark的主要语言,因为它能够将Spark的API最大程度地利用。 除了分布式计算引擎外,Spark还提供了多种库和工具,包括Spark SQL、Spark Streaming、MLlib和GraphX。Spark SQL是一种用于结构化数据处理的库,能够使用SQL语句进行数据查询;Spark Streaming可以实时处理数据流,包括文本和图像等;MLlib是实现了多种机器学习算法的库,包括分类、回归、聚类和协同过滤;GraphX可以用于图计算和图分析领域。 总之,Spark是一种强大的大数据处理引擎,能够通过分布式计算架构实现快速的数据处理。它提供了多种语言支持和众多的库和工具,方便用户处理各类数据。 ### 回答3: Spark是一款开源的、分布式的大数据处理框架,它的出现将大数据处理的速度提升到了一个全新的水平。Spark的特点在于它的内存计算引擎,这使得Spark的运行速度比传统的MapReduce处理速度要快很多,同时也比传统的Hadoop更加灵活。 Spark可以用于处理各种大数据应用场景,包括批处理、交互式查询、实时流处理等等。同时,Spark的生态系统非常丰富,有众多的开源库和工具可以使用,例如:Spark SQL、Spark Streaming、GraphX、MLlib等等。 Spark的运行环境需要一个集群,因为Spark是分布式的,它可以通过在集群中多个节点上并行执行任务来提升处理速度,而且Spark支持多种集群管理和资源调度工具,例如:Apache Mesos、Hadoop YARN、Spark自带的资源调度程序等等。 Spark的编程接口非常灵活,可以使用Scala、Java、Python等多种编程语言来编写Spark程序。无论是使用哪种编程语言,Spark都提供了相应的API和工具,例如:Spark SQL、Spark Streaming等。 总之,Spark是一个非常强大的大数据处理框架,它的出现是对传统的Hadoop框架的一种补充和升级,不仅可以处理海量的数据,而且可以提供更快速的数据处理速度和更强大的数据处理能力。因此,Spark已经成为现代大数据处理和机器学习领域中非常重要的工具之一。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值