- 博客(27)
- 收藏
- 关注
RSS订阅原创 Python爬虫史上超详细讲解（零基础入门，老年人都看的懂）
版权声明：本文为博主原创文章，转载请附上原文出处链接和本声明。讲解我们的爬虫之前，先概述关于爬虫的简单概念（毕竟是零基础教程）
2023-10-12 15:26:51
818
原创 配置中心：Apollo入门了解
Apollo（阿波罗）是一款可靠的分布式配置管理中心，诞生于携程框架研发部，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。服务端基于Spring Boot和Spring Cloud开发，打包后可以直接运行，不需要额外安装Tomcat等应用容器。Java客户端不依赖任何框架，能够运行于所有Java运行时环境，同时对Spring/Spring Boot环境也有较好的支持。
2023-09-19 10:01:54
116
原创 爬虫抓取的目标分类
基于目标数据模式的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。这两个部分的算法又是紧密相关的。现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标。确定的抓取目标样例，分为：（a）用户浏览过程中显示标注的抓取样本；基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。另一种描述方式是建立目标领域的本体或词典，用于从语义角度分析不同特征在某一主题中的重要程度。其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。
2023-09-02 09:23:39
879
原创 网络爬虫的分类
实际的网络爬虫系统通常是几种爬虫技术相结合实现的。Raghavan等人提出的HIWE系统中，爬行管理器负责管理整个爬行过程，分析下载的页面，将包含表单的页面提交表单处理器处理，表单处理器先从页面中提取表单，从预先准备好的数据集中选择数据自动填充并提交表单，由爬行控制器下载相应的结果页面。（4）基于语境图的爬行策略：Diligenti等人提出了一种通过建立语境图（Context Graphs）学习网页之间的相关度，训练一个机器学习系统，通过该系统可计算当前页面到相关Web页面的距离，距离越近的页面中的链接。
2023-09-02 09:19:21
1101
原创 网络爬虫介绍
网络爬虫（又称为，网络机器人，在社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取信息的或者。另外一些不常使用的名字还有蚂蚁、或者蠕虫。
2023-09-02 09:09:10
758
原创 计算机的函数是什么
计算机的函数，是一个固定的一个，或称其为一个，它在可以实现固定运算功能的同时，还带有一个入口和一个出口，所谓的入口，就是函数所带的各个参数，我们可以通过这个入口，把函数的代入子程序，供计算机处理；所谓出口，就是指函数的，在计算机求得之后，由此口带回给调用它的程序。
2023-08-21 15:05:46
103
原创 计算机通信网
随着人类社会的不断进步、经济的迅猛发展以及计算机的广泛应用，人们对信息的要求越来越强烈，为了更有效、更可靠地传递、处理信息，计算机通信网应运而生。因此我们也有必要理解计算机通信网的概念及发展过程，计算机通信网的组成、主要任务，计算机通信网的分类和计算机通信网的主要涉及问题。： 由于计算机通信网络的拓扑十分复杂，要直接对整个网络的拓扑进行设计，以得出最佳是十分困难的。总之，分组在计算机通信网中的传输和交换时，有一定的时延，我们希望这些时延尽量小，以保证快速通信。位置的差异性，共享网络中的计算机资源。
2023-07-07 14:41:30
40
原创 《计算机网络》复习笔记
第三个字段是2字节的类型字段，用来标志上一层使用的是什么协议，以便把收到的MAC帧的数据上交给上一层的这个协议。每一帧包括数据和必要的控制信息。网络地址的最高位必须是“0“，可指派的网络数为128-2，减2的原因是0.0.0.0对应“本网络”，另外一个是127.0.0.1是本地软件的回环地址，用于测试自己电脑IP地址是否可用。CIDR把网络前缀相同的连续的IP地址组成一个”CIDR地址块”只要知道CIDR地址块中的任何一个地址，就可以知道这地址块的起始地址(即最小地址)和最大地址，以及地址块中的地址数。
2023-07-07 08:09:58
127
1
原创 计算机网络基础知识总结
结点 （node） ：网络中的结点可以是计算机，集线器，交换机或路由器等。链路（link ） : 从一个结点到另一个结点的一段物理线路。中间没有任何其他交点。主机（host） ：连接在因特网上的计算机。ISP（Internet Service Provider） ：因特网服务提供者（提供商）。5. IXP（Internet eXchange Point） ： 互联网交换点 IXP 的主要作用就是允许两个网络直接相连并交换分组，而不需要再通过第三个网络来转发分组。
2023-07-06 08:23:12
171
1
原创 协议（计算机学科概念）
网络协议，也可简称协议，由三要素组成：(1)语法：即数据与控制信息的结构或格式；(2)语义：即需要发出何种控制信息，完成何种动作以及做出何种响应；(3)时序（同步），即事件实现顺序的详细说明。计算机通信网是由许多具有信息交换和处理能力的节点互连而成的。要使整个网络有条不紊地工作, 就要求每个节点必须遵守一些事先约定好的有关数据格式及时序等的规则。这些为实现网络数据交换而建立的规则、约定或标准就称为网络协议。协议是通信双方为了实现通信而设计的约定或通话规则。协议总是指某一层的协议。
2023-07-04 08:32:00
112
原创 记住内存和变量
是屏幕上显示的图形和扬声器或耳机传出的。它的输出就是程序在屏幕上打印的消息。要把一个东西放在内存中的某个位置呢。这个程序也具备所有这三个基本要素。， 因为他总是喜欢调皮捣蛋……要确定需要多少内存来存储这些字母。是来自操纵杆或游戏控制器的信号。它会把引号里的内容原样打印出来。就必须明确这个东西到底是什么。是程序确定你是否击中外星人。在计算机内存中的某个位。在一个东西两边加上引号时。这会在屏幕上显示具体的内容。就具备以下这三个基本要素。或者把它们保存在某个地方。如果希望程序记住某个东西。
2023-06-29 20:05:50
44
1
原创 一些重要的计算机网络协议
Transmission Control Protocol/Internet Protocol的简写，中译名为传输控制协议/因特网互联协议，又名网络通讯协议，是Internet最基本的协议、Internet国际互联网络的基础，由网络层的IP协议和传输层的TCP协议等组成（当然还有其他后来发展起来的网络协议，还包括 ARP，ICMP，IGMP，UDP，以及让域名访问成为可能的DNS，以及电脑/手机可以自动获取IP地址的DHCP。当然还有形形色色的应用层的协议如 HTTP / SMTP / FTP 等。。
2023-06-28 20:20:35
197
1
原创 网络协议HTTP、TCP/IP、UDP
在使用长连接的情况下，当一个网页打开完成后， 客户端和服务器之间用于传输HTTP数据的TCP连接不会关闭 ，客户端再次访问这个服务器时，会继续使用这一条已经建立的连接。在计算机网络中，这些连接和通信的规则被称为网络通信协议，它对数据的传输格式、传输速率、传输步骤等做了统一的规定，通信双方必须同时遵守才能完成数据的交换。TCP传输控制协议，TCP协议是面向连接的通信协议，即传输数据之前，在发送端和接收端建立逻辑连接，然后再传输数据，它提供了两台计算机之间的可靠无差错的数据传输。数据被包含在请求本文中。
2023-06-28 16:25:27
689
1
原创 计算机网络基础知识总结
子网掩码是标志两个IP地址是否同属于一个子网的，也是32位二进制地址，其每一个为1代表该位是网络位，为0代表主机位。它和IP地址一样也是使用点式十进制来表示的。如果两个IP地址在子网掩码的按位与的计算下所得结果相同，即表明它们共属于同一子网中。
2023-06-28 10:39:21
47
1
原创 网络基础之网络协议篇
我们知道两个进程如果需要进行通讯最基本的一个前提能能够唯一的标示一个进程，在本地进程通讯中我们可以使用PID来唯一标示一个进程，但PID只在本地唯一，网络中的两个进程PID冲突几率很大，这时候我们需要另辟它径了，我们知道IP层的ip地址可以唯一标示主机，而TCP层协议和端口号可以唯一标示主机的一个进程，这样我们可以利用ip地址＋协议＋端口号唯一标示网络中的一个进程。以太网数据包需要设置双方的MAC地址，发送方为本机的网卡MAC地址，接收方为网关192.168.1.1的MAC地址（通过ARP协议得到）。
2023-06-28 10:29:09
90
1
原创 三分钟带你读懂物联网的语言—物联网协议入门FrankZFrankZ
说起物联网的协议来，真的是很令人头疼，数量众多的协议各有各的特点和应用场景。如果再深究起原理来，还要涉及到OSI的七层模型和各种标准。这么陡峭的学习曲线让很多好学的盆友们也不禁望而却步。为了带大家入门，今天Frank同学决定直面挑战，坚决不提那些让人头大的专业概念和原理，而是把自己这些年来与设备打交道的经验浓缩成一张图和三句话，希望各位同学在看完本文后能对物联网协议有一个大体的了解，在面对协议方面的问题时，不头疼、不蒙圈、不被忽悠，从此和物联网协议一起过上幸福快乐的生活。
2023-06-28 09:51:35
88
1
原创 QUIC 协议：特性、应用场景及其对物联网/车联网的影响
QUIC（Quick UDP Internet Connections）是由谷歌公司开发的一种基于用户数据报协议（UDP）的传输层协议，旨在提高网络连接的速度和可靠性，以取代当前互联网基础设施中广泛使用的传输控制协议（TCP）。QUIC 通过加密和多路复用技术来提供更高的安全性和更快的数据传输。它支持在单个连接上并行发送多个数据流，从而降低延迟并提高吞吐量。QUIC 还具有拥塞控制和流量控制等机制，以应对网络拥塞并保证数据传输的稳定性。
2023-06-28 08:34:32
91
1
原创 互联网协议入门
互联网的实现，分成好几层。每一层都有自己的功能，就像建筑物一样，每一层都靠下一层支持。用户接触到的，只是最上面的一层，根本没有感觉到下面的层。要理解互联网，必须从最下层开始，自下而上理解每一层的功能。如何分层有不同的模型，有的模型分七层，有的分四层。我觉得，把互联网分成五层，比较容易解释。
2023-06-27 10:24:08
58
原创 计算机网络自学笔记:应用层协议的原理
这个连接是全双工的，即连接双方的进程都有发送和接收缓冲区，可以在此连接上同时进行报文段的收发UDP是一种不提供可靠传输服务的轻量级传输层协议。对每对通信进程，在给定的一次通信会话中，发起通信的进程被标示为客户机，在会话开始时接受请求的进程是服务器。例如在Web中，一个浏览器进程向Web服务器进程发起联系，因此该浏览器进程是客户机，而该Web服务器进程是服务器。一个典型的例子是Web应用程序，当Web服务器接收到来自某客户机浏览器对某对象的请求时，它向该客户机发送所请求的对象作为响应。程通信前没有握手过程。
2023-06-27 08:57:39
88
原创 计算机网络的历程
Transmission Control Protocol/Internet Protocol的简写，中译名为传输控制协议/因特网互联协议，又名网络通讯协议，是Internet最基本的协议、Internet国际互联网络的基础，由网络层的IP协议和传输层的TCP协议等组成（当然还有其他后来发展起来的网络协议，还包括 ARP，ICMP，IGMP，UDP，以及让域名访问成为可能的DNS，以及电脑/手机可以自动获取IP地址的DHCP。当然还有形形色色的应用层的协议如 HTTP / SMTP / FTP 等。。
2023-06-26 20:19:52
76
原创 IOT（物联网）的七大通信协议
上图为物联网联接的问题空间，其中物联网的通信环境有Ethernet， Wi-Fi， RFID， NFC（近距离无线通信）， Zigbee， 6LoWPAN（IPV6低速无线版本），Bluetooth， GSM， GPRS， GPS， 3G， 4G等网络，而每一种通信应用协议都有一定适用范围。(3) 不同于用户交互终端如pc、手机，物联网场景中的设备多样化，对于运算和存储资源都十分受限的设备，http协议实现、XML/JSON数据格式的解析，都是不可能的任务。它也支持一个简单的停止和等待的可靠性传输机制。
2023-06-26 17:21:26
1538
1
原创 网络通信总结（TCP/IP协议、HTTP协议等）
由于TCP连接时全双工的，因此，每个方向都必须要单独进行关闭，这一原则是当一方完成数据发送任务后，发送一个FIN来终止这一方向的连接，收到一个FIN只是意味着这一方向上没有数据流动了，即不会再收到数据了，但是在这个TCP连接上仍然能够发送数据，直到这一方向也发送了FIN。目前使用最多的是IPv4协议，根据用户性质的不同，可分为ABCDE五类，A类保留给政府机构，B类分配给中等规模的公司，C类分配给任何需要的人，D类用于组播，E类用于实验，各类可容纳的地址数目不同。握手完成后，两台主机开始传输数据了。
2023-06-26 17:09:06
1772
1
原创 计算机各层网络协议
传输层: (典型设备: 进程和端口) 数据单元：数据段 （Segment）TCP （Transmission Control Protocol ）传输控制协议提供可靠的面向连接的服务，传输数据前须先建立连接，结束后释放。可靠的全双工信道。可靠、有序、无丢失、不重复。 UDP (User Datagram Protocol ）用户数据报协议发送数据前无需建立连接，不使用拥塞控制，不保证可靠交付，最大努力交付。 DCCP （Datagram Congestion Control Protocol ）数据
2023-06-26 16:48:59
110
1
原创 数据传输过程
开头写对收信人的称呼，接下来是问候语“你好”等，中间是信的内容，最后落款写自己的姓名。那么，这个书信格式及通信采用的语言实际上就是和朋友之间的协议，只有遵照这个协议，正如前一节所讲内容，在计算机网络中层次的划分要比上述的例子更细致，每一层实现的功能也更。将人们需要传输的信息转换成计算机能够识别的二进制数据后，这些数据往往都是海量的。会导致网络资源耗尽。在传输层，上层数据被分割成小的数据段，并为每个分段后的数据封装TCP报文头部。邮局根据收信人的目的地址，将信件再次封装成大的包裹，通过运输部门发往目的城市，
2023-06-26 11:35:33
67
1
原创 OSI参考模型与TCP/IP协议簇
数据链路层(DataLink Layer)负责将上层数据封装成固定格式的帧，在数据帧内封装发送和接。物理层的设计主要涉及物理层接口的机械、电气，地址来标识一个点，将上层数据封装成数据包，在包的头部封装了源和目的端的逻辑地址。分为七层，从下往上依次是物理层、数据链路层、网络层、传输层、会话层、表示层和应用层，网络层和数据链路层负责将数据送达目的端的主机，而这个数据需要什么用户进程去处理，就。例如，用QQ发送消息，网络层和数据链路层负责将消息转发到接收人的主机，而接收人应该。当发现数据错误时，可以重传数据帧。
2023-06-26 10:57:26
302
1
原创 计算机网络发展简史
美国国防部高级研究计划局的鲍勃·卡恩和斯坦福大学的温顿·瑟夫合作，提出TCP/P协议思想。的规模和数量都得到了很大的发展。一系列网络的建设，产生了不同网络之间互连的需求1974年。这一思想的提出，提供了这样一种可能：即不同厂商生产的计算机，在不同结构的网络间实现互通。互联网的发展和应用出现了新的飞跃。标有接收信息的地址标识，从而实现信息传递的一种通信技术。1969年，美国国防部高级研究计划局，把四台军事及研究用的计算机主机连接起来，于是。计算机网络的发展总共分为三个阶段，每个阶段都有其标志性的技术。
2023-06-26 09:29:38
436
1
原创 计算机网络的功能
越来越广泛地应用于政治、经济、军事、生产及科学技术等领域，如图1.1所示。大量的用户，以此避免重复投资和劳动，从而提高了资源的利用率，使系统的整体性价比得到提高。资源共享既包括硬件资源的共享，如打印机、大容量磁盘等，也包括软件。资源的共享，如程序、数据等。在计算机网络中有许多昂贵的资源，如大型数据库、巨型计算机等，并不是每一个用户都拥有，现代社会的信息量激增，信息交换也日益增多，利用网络来传输各种信息和数据，比传统的方。式更节省资源和更高效。另外，通过网络还可以传输声音、图像和视频，实现多媒体通信。
2023-06-26 08:34:52
79
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人