vincent_duan的专栏

原创 python3+Scrapy爬虫入门

创建项目scrapy startproject douban红框中是指出创建一个新爬虫。创建爬虫cd qunarscrapy genspider girls https://www.douban.com/group/641424/自此，我们的项目算是基本创建好了，其中“girls”是指爬虫的名称，“https://www.douban.com/group/641424/”爬虫的域名。不过为了方便我们项目启动，可以在项目中新建一个entrypoint.py文件，文件内容如下：from

原创 网络安全-思维导图

原创 计算机网络-基本概念（11）【应用层】

实时流式协议RTSP和RTMP共同点：RTSP RTMP HTTP都是在应用层。区别：RTSP+RTP主要用于IPTV，原因是传输数据使用的是UDP，在网络环境比较稳定的情况下，传输效率是比较高的；RTMP主要用于互联网音视频传输，它使用的是TCP传输，因为互联网环境相对较差，采用RTMP保证了视频的传输质量，但是其传输延迟相对较高，传输效率相对较低。librtmp是RTMP协议的实现，可以使用librtmp来实现协议的解析和数据的收发。直播服务器可以基于nginx+rtmp实现；直播客户端

原创 计算机网络-基本概念（10）【传输层】TCP运输连接管理

三次握手A主动建立连接。发送SYN=1，seq=x，进入SYN-SENT（同步已发送）状态。B收到请求，同意建立连接，则向A发送确认。发送SYN=1，ACK=1，seq=y，ack=x+1。进入SYN-RCVD状态。A收到B的确认后，还要向B给出确认。发送ACK=1，seq=x+1，ack=y+1。...

原创 网络安全-Internet安全体系结构

名称攻击防御物理层1. 窃听 2. 回答（重放）3. 插入 4. 拒绝服务

原创 网络安全-防火墙与入侵检测系统

防火墙效率吞吐量：指防火墙在不丢失数据包的情况下能达到的最大的转发数据报的速率。时延：能够衡量出防火墙处理数据的快慢。丢包率：在特定负载下，指应由网络设备传输，但由资源耗尽而丢弃帧的百分比。背对背：指从空闲状态开始，已达到传输介质最小合法间隔极限的传输速率发送相当数量的固定长度的帧，当出现第一个帧丢失时所发送的帧数。并发连接数：指穿越防火墙的主机之间或主机与防火墙之间能同时建立的最大连接数，并发连接数的测试主要用来测试被防火墙建立和维持TCP连接的性能。防火墙分类1. 包过滤防火墙是防火

原创 网络安全-漏洞扫描

漏洞扫描方法名称方法优点缺点ICMP 扫射使用ICMP回显请求轮训目标主机使用简单速度较慢，如果目标关闭了对ICMP回显请求的响应，就不能被发现广播ICMP发送ICMP回显请求到目标网络的网络地址或广播地址使用简单，速度比ICMP扫射快不能发现Windows主机，如果目标关闭了对ICMP回显请求的响应，就不能被发现，可能造成扫描者的DoS非回显ICMP（例如ICMP时间戳请求）发送其他类型的ICMP报文到目标主机不受目标组织ICMP回显请求的影响不同操

原创 网络安全-互联网（网络层、传输层、应用层）使用的安全协议

网络层安全协议IPsec我们经常使用的虚拟专用网（某PN），在某PN中传送的信息都是经过加密的，而IPsec就是提供的这个服务。IPsec并不是一个单一协议，而是能够在IP层提供互联网通信安全的协议族。IPsec并没有限定用户必须使用何种特定的加密和鉴别算法。实际上，IPsec是个框架，它允许通信双方选择合适的算法和参数（例如：密钥长度）。为了保证互操作性，IPsec还包含了一套加密算法，所有IPsec的实现都必须使用。IPsec协议族中的协议可划分为一下三个部分：IP安全数据报的两个协议：鉴别

转载 SSL/TLS协议运行机制的概述

1. 作用不使用SSL/TLS的HTTP通信，就是不加密的通信。所有信息明文传播，带来了三大风险：（1）窃听风险（eavesdropping）：第三方可以获知通信内容。（2）篡改风险（tampering）：第三方可以修改通信内容。（3）冒充风险（pretending）：第三方可以冒充他人身份参与通信。SSL/TLS协议是为了解决这三大风险而设计的，希望达到：（1） 所有信息都是加密传播，第三方无法窃听。（2） 具有校验机制，一旦被篡改，通信双方会立刻发现。（3） 配备身份证书，防止身份被冒充

原创 计算机网络-思维导图（6）应用层

原创 计算机网络-基本概念（9）【传输层】TCP拥塞控制 【网络层】拥塞避免

TCP拥塞控制对网络中某一资源的需求超过了该资源（带宽、交换节点中的缓存、处理机）所能提供的可用部分。防止过多的数据注入网络中，方式路由器或两路过载，是属于全局性的过程，包括主机、路由器、链路等设备。TCP流量控制让发送方的发送速率不要太快，要让接收方来得及接收。是点对点通信量的控制，接收端控制发送端，抑制发送端发送数据速率。监测网络拥塞的方法缺少缓存空间而被丢弃的分组的百分数平均队列长度超时重传的分组数平均分组时延分组时延的标准差在路由器转发的分组中保留一个比特，表示网络中有没有拥塞

原创 计算机网络-思维导图（5）传输层

原创 计算机网络-基本概念（8）【网络层】集线器、网桥和路由器的区别

路由器：可以互联两个不同网络层协议的网段。网桥、交换机：可以互联两个物理层和链路层不同的网段（交换机的每一个端口，都是一个冲突域）。集线器：直通设备，傻瓜式【来什么就转发什么】设备能否隔离冲突域能否隔离广播域物理层【傻瓜】（中继器、集线器）×√链路层【路人】（网桥、交换机）√×网络层【大佬】（路由器）√√有一个广播分组进入局域网中，不管有没有交换机或网桥，所有的主机都是可以收到的，都可以根据交换机的所有端口转发出去，因此链路层设备不能隔离广播域。而

原创 计算机网络-基本概念（6）【网络层】-某PN和NAT

虚拟专用网某PN可以解决IP地址紧缺，机构申请的IP小于机构的主机。同时出于安全，机构内不需要把所有主机接入外网。想个较远建立A和B专用网，每一个场所至少有一个路由器具有合法的全球IP。路由器R1 R2在专用网内部网络的接口地址则是专用网的本地地址。某PN的分类内联网某PN：A,B的内部网络所构成的虚拟专用某PN，A,B为同一机构。外联网某PN：需要有某些外部机构参加进来。远程接入某PN：很多流动员工在外地工作，可通过某PN然健建立通道。网络地址转换NAT专用网内部已经分配到本地IP，

原创 计算机网络-基本概念（7）【网络层】-多协议标记交换MPLS

MPLS利用面向连接技术，使每个分组打上标记（小整数），当分组到达交换机（即标记交换路由器）时，交换机读取分组的标记，并用标记值来检索分组转发表。这样就比查找路由表转发分组块的多。MPLS并没有取代IP，而是作为一种IP增强技术，广泛用于互联网。特点：支持面向连接的服务质量支持流量工程，平衡网络负载有效的支持某PN工作过程传统方式分组每到一个路由器，必须查路由表，用“最大前缀匹配”找到下一跳IP地址，网络很大时，查找路由表要花费大量时间，还会出现分组丢失，传输时延增大，服务质量下降。M

原创 计算机网络-基本概念（5）【网络层】-IP多播

可以大大节约网络资源。多播路由器在转发分组时，需要把收到的分组复制成多个副本，分别下发到下面的R1R2路由器，当分组到达目的局域网时，由于局域网具有硬件多播功能，因此不需要复制分组，多播成员就会收到分组。多播数据报目的地址不能写目的主机的IP，而是多播组的标识符【D类地址】不产生ICMP差错报文，ping后面如果键入多播地址，永远收不到响应。两种协议网际组管理协议IGMP：让连接在本局域网上的多播路由器知道本局域网上是否有主机参加或退出某个多播组多播路由选择协议：具体完成多播任务。IGMP

原创 计算机网络-基本概念（4）【网络层】-IPv4向IPv6过渡

向IPv6过渡只能采用逐步演进的办法。双协议栈（源目的地址不变）是一部分主机（或路由器）装有双协议栈一个IPv4和一个IPv6。因此双协议栈主机（或路由器）既能够和IPv6的系统通信，又能和IPv4系统通信。与IPv6系统通信时采用IPv6地址，与IPv4系统通信时采用IPv4地址。需要进行首部转换。如何知道目的主机是IPv4还是IPv6?可以通过DNS进行查询。缺点：IPv4转成IPv6时，首部某些字段无法回复，造成丢失。隧道技术（源目的地址重新封装）IPv6进入IPv4前，将IPv6数据报作

原创 计算机网络-基本概念（3）【网络层】-路由选择协议

内部网关协议RIP分布式基于距离向量的路由选择协议，优点是实现简单。使用UDP方式发送，RIP是应用层协议RIP要求网络中的每一个路由器都要维护从它自己到其他每一个目的网络的距离纪录。RIP允许一条路径最多只能包含15个路由器，因此RIP只能适用于小型网络。特点仅和相邻路由器交换信息。【和谁交换】交换的信息是当前路由器的全部信息。【交换什么信息】按固定的时间间隔交换路由信息。【什么时候交换】RIP 协议对于好消息传送得快，坏消息传送得慢内部网关协议OSPF分布式的链路状态协..

原创 计算机网络-基本概念（2）【网络层】-网际控制报文协议ICMP

为了更有效的转发IP数据报和提高交付成功的机会，在网络层使用了网际控制报文协议ICMP。ICMP允许主机或路由器报告差错情况和提供有关异常情况的报告。差错报告报文终点不可达：使用traceroute无法交付时间超过：TTL=0参数问题：首部字段有问题改变路由：有更好的路由询问报文回送请求或回答：ping时间戳请求或回答...

原创 计算机网络-基本概念（1）【网络层】-ARP协议以及数据传输过程

数据报从H1到H2的过程（简单过程）H1和H2分别对应两个用户。H1查看自己的路由表，查看H2是否就在本网络，如果是在同一网络，则直接交付。如果不是，把数据报发送给路由器R1，间接交付R1查看路由表后，发送给R2.…一系列过程R5知道自己是和H2连接，因此直接交付给H2。地址解析协议ARP一直一个机器（主机或路由器）的IP，通过ARP协议可以知道其对应的MAC硬件地址。每一个主机或路由器都有一个ARP告诉缓存。ARP中所存储的都是本局域网内的IP MAC映射表。情况一：主机A与主机B

原创 计算机网络-思维导图（4）网络层

原创 计算机网络-思维导图（3）数据链路层

原创 计算机网络-思维导图（2）物理层

原创 计算机网络-思维导图（1）概述

原创 [早餐]鸡蛋煎饼

原材料鸡蛋2个、中筋面粉35g、水125g步骤面粉和水搅拌混合。（如果先放入鸡蛋的话，面粉不容易混合均匀）将鸡蛋液倒入。搅拌均匀放一点盐、葱花锅底擦油火不能太大，饼不能太厚，一分钟左右边边翘起，翻面稍微热一下就可以了。...

原创 番茄蛋花汤

原材料香菜，西红柿，玉米淀粉，盐，白胡椒粉步骤香菜切碎西红柿两个切碎丁，把大块切小。（如果不嫌麻烦的话，可以先炒一下）水烧开，放入西红柿丁，小火煮开，西红柿煮软，把西红柿的味道煮到汤里两勺玉米淀粉，加水，加到汤中。打鸡蛋液，轻轻倒入锅中，同时用筷子轻轻搅开。关火，加入盐和白胡椒，加入一点香油和香菜。...

原创 蛋炒饭

原材料米饭、鸡蛋、洋葱丁、胡萝卜丁、虾仁、白胡椒、玉米、青豆步骤两颗鸡蛋，与大米混合一起，大米不要太软，米饭与鸡蛋液充分混合虾仁，盐，白胡椒混合一起，加入一点淀粉，这样虾仁炒出来比较嫩锅中倒油，翻入洋葱和胡萝卜丁，煸炒之后翻入青豆和玉米，放盐入味，盛出热锅继续放入虾仁，小火轻炒，盛出放油，中火，油不是很热的时候，放入鸡蛋米饭，随着鸡蛋慢慢炒熟，米粒就颗粒分明了，撒一点盐，葱花，和上面的配菜。...

原创 sed 删除windows下的CR/LF

sed -i 's/^M//g' file 在bash界面下，按住 Ctrl-V 然后按 Ctrl-M，就可以打出^M控制字符了