网络协议学习笔记 · 22

永别了，赛艾斯滴恩

已于 2022-08-30 09:24:59 修改

阅读量541

点赞数

分类专栏：乱七八糟，待整理文章标签：网络协议学习

于 2022-08-18 22:39:10 首次发布

本文链接：https://blog.csdn.net/KeepPromise/article/details/126405411

版权

乱七八糟，待整理专栏收录该内容

29 篇文章 0 订阅

订阅专栏

IPv6 · 流媒体 · 即时通讯 · 缓存 · 网络爬虫

VPN
网络爬虫
- 简易实例
- robots.txt
无线网络
缓存（Cache）
IPv6
即时通信
- XMPP
- MQTT
流媒体
- 常见协议

学习笔记系列文章

VPN

图01
图02

作用

图03

VPN与代理的区别

软件
- VPN一般需要安装VPN客户端软件
- 代理不需要安装额外的软件
安全性
- VPN默认会对数据进行加密
- 代理默认不会对数据进行加密（数据最终是否加密取决于使用的协议本身）
费用
- 一般情况下，VPN比代理贵

实现原理（隧道协议）

请添加图片描述

tcpdump
tcpdump是Linux平台的抓包分析工具，Windows版本是WinDump

使用手册
https://www.tcpdump.org/manpages/tcpdump.1.html

不错的教程
https://danielmiessler.com/study/tcpdump/

网络爬虫

网络爬虫（Web Crawler），也叫做网络蜘蛛（Web Spider）

模拟人类使用浏览器操作页面的行为，对页面进行相关的操作
常用爬虫工具：Python 的Scrapy框架

图05

搜索引擎

简易实例

可以使用Java的一个小框架Jsoup爬一些简单的数据

jar包（jsoup、commons-io）：
https://jsoup.org/packages/jsoup-1.13.1.jar
https://mirror.bit.edu.cn/apache//commons/io/binaries/commons-io-2.8.0-bin.zip

爬取目标：https://ext.se.360.cn/webstore/categor

import org.apache.commons.io.FileUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.File;
import java.net.URL;

public class Main {
    public static void main(String[] args) throws Exception {
        // 请求网站：https://ext.se.360.cn/webstore/category
        // Jsoup使用CSS选择器来查找元素
        String dir = "C:/Users/yusael/Desktop/imgs/"; // 爬取后的存放路径
        String url = "https://ext.se.360.cn/webstore/category";
        Document doc = Jsoup.connect(url).get();
        Elements eles = doc.select(".applist .appwrap");
        for (Element ele : eles) {
            String img = ele.selectFirst("img").attr("src");
            String title = ele.selectFirst("h3").text();
            String intro = ele.selectFirst(".intro").text();

            // 下载图片
            String filepath = dir + (title + ".png");
            FileUtils.copyURLToFile(new URL(img), new File(filepath));
        }
    }
}

robots.txt

robots.txt 是存放于网站根目录下的文本文件，比如 https://www.baidu.com/robots.txt
- 用来告诉爬虫：哪些内容是不应被爬取的，哪些是可以被爬取的
- 因为一些系统中的URL是大小写敏感的，所以 robots.txt 的文件名应统一为小写
robots.txt 并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私
- 只能防君子，不能防小人
- 无法阻止不讲 “武德” 的年轻爬虫爬取隐私信息

图07

无线网络

图08

缓存（Cache）

图09

响应头

Pragma：作用类似于Cache-Control，HTTP/1.0的产物

Expires：缓存的过期时间 (GMT格式时间)，HTTP/1.0的产物

GMT时间：例如 date: Sat, 19 May 2018 17:17:24 GMT

Cache-Control：设置缓存策略

no-storage：不缓存数据到本地
public：允许用户、代理服务器缓存数据到本地
private：只允许用户缓存数据到本地
max-age：缓存的有效时间（多长时间不过期），单位秒
no-cache：每次需要发请求给服务器询问缓存是否有变化，再来决定如何使用缓存

优先级：Pragma > Cache-Control > Expires

Last-Modified：资源的最后一次修改时间

ETag：资源的唯一标识（根据文件内容计算出来的摘要值）

优先级：ETag > Last-Modifie

Last-Modified vs ETag

Last-Modified的缺陷

只能精确到秒级别，如果资源在1秒内被修改了，客户端将无法获取最新的资源数据
如果某些资源被修改了（最后一次修改时间发生了变化），但是内容并没有任何变化，则会导致相同数据重复传输，没有使用到缓存

ETag 可以办到

只要资源的内容没有变化，就不会重复传输资源数据
只要资源的内容发生了变化，就会返回最新的资源数据给客户端