网络协议抓包分析与爬虫入门

一、Wireshark抓包疯狂聊天

1.打开疯狂聊天，发送信息测试连通性

2.Wireshark抓包

通过分析程序源码可以看到程序通过UDP向255.255.255.255发送信息


在wireshark中输入筛选ip.dst==255.255.255.255进行过滤

3.分析

1.首先我们看端口，端口号是7001，通过分析源码可以得知端口号为房间号+5000，我们房间号是2001，无误。
2.当我们发送全英文xin的时候，我们可以直接看到信息。
3.当发送中文加数字的时候，，只能看到**……123**，我们通过字符转换工具以及分析代码可以发现中文经过了utf-8转换，一个中文占三个字节。对比前面全英文可以发现，英文只占一个字节。

二、爬虫入门

爬 http://www.51mxd.cn/ 练习题

原理

1.爬虫从初始网页的URL开始,获取初始网页上的URL
2.在抓取网页的过程中，不断从当前页面上抽取新的URL放X队列
3.直到满足系统给定的停止条件

代码

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm

# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

# 题目数据
subjects = []

# 爬取题目
print('题目信息爬取中：\n')
for pages in tqdm(range(1, 11 + 1)):

    r