网络协议抓包分析与爬虫入门

一.Wireshark抓取疯狂聊天数据包

1.1抓取准备

1.下载疯狂聊天可执行.exe,打开

下载地址：https://pan.baidu.com/s/1KNQVTjDP_MvOGYVk34dtfg
提取码：2000

2.关闭电脑的防火墙。
3.关闭除了wlan以外的其他网络连接：

1.2开始聊天

输入相同的房间号开始聊天

wireshark抓取数字信息数据包


发送数据为111
抓取中文数据包：

中文数据为：你好
抓取英文数据包：

英文为：aaa
参考文献：https://blog.csdn.net/qq_55691662/article/details/121440344?spm=1001.2014.3001.5501

二.网络爬虫入门学习

1.1 网络爬虫定义
网络爬虫英文名叫Web Crawler或Web Spider，是一种自动浏览网页并采集所需要信息的程序
1.2 爬虫原理
爬虫从初始网页的URL开始, 获取初始网页上的URL
在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列
直到满足系统给定的停止条件
1.3 爬虫工作的过程
URL管理模块：发起请求。一般是通过HTTP库，对目标站点进行请求。等同于自己打开浏览器，输入网址
下载模块：获取响应内容（response）。如果请求的内容存在于服务器上，那么服务器会返回请求的内容，一般为：HTML，二进制文件（视频，音频），文档，Json字符串等
解析模块：解析内容。对于用户而言，就是寻找自己需要的信息。对于Python爬虫而言，就是利用正则表达式或者其他库提取目标信息
存储模块：保存数据。解析得到的数据可以多种形式，如文本，音频，视频保存在本地

示例一

爬取南阳理工学院ACM题目网站http://www.51mxd.cn/ 练习题目数据的抓取和保存

编程工具：jupyter
运行环境：python3.8
导入库：

import requests #导入网页请求库
from bs4 import BeautifulSoup #导入网页解析库
import csv
from tqdm import tqdm #Tqdm 是一个快速，可扩展的Python进度条

完整代码：

import requests #导入网页请求库
from bs4 import BeautifulSoup #导入网页解析库
import csv
from tqdm import tqdm #Tqdm 是一个快速，可扩展的Python进度条

#模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

#表头
csvHeaders = ['题号','难度','标题','通过率','通过数/总提交数']

#题目数据
subjects = [];

#爬取题目
print('题目信息爬取中：\n')
for pages in tqdm(range(1,11+1)):#信息从第1页到12页
    #传入url
    r=requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm',Headers)
    
    #检查是否异常
    r.raise_for_status()

    #输出文档为utf-8编码
    r.encoding = 'utf-8'

    # 解析URL
    soup = BeautifulSoup(r.text, 'html5lib')

    #查找爬取与csvHeaders表头中相关所有内容
    td = soup.find_all('td')

    #新定义一个subject用来存放当前页面爬取的满足特征的信息
    subject = []

    for t in td:
        if t.string is not None:
            subject.append(t.string)
            if len(subject) == 5:#通过长度判断subject内容是否爬取到上面5项
                subjects.append(subject)#把subject存放进上面的subjects中
                subject = []#subject置空

# 存放题目
with open('information.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n题目信息爬取完成！！！')

三、示例二

将重庆交通大学新闻网站中近几年所有的信息通知（http://news.cqjtu.edu.cn/xxtz.htm） 的发布日期和标题全部爬取下来，并写到CSV电子表格中。
打开网页：

检查：


具体代码：

import requests #导入网页请求库
from bs4 import BeautifulSoup #导入网页解析库
import csv
from tqdm import tqdm #Tqdm 是一个快速，可扩展的Python进度条
import urllib.request, urllib.error  # 制定URL 获取网页数据

#所有新闻标题
subjects=[]

#模拟浏览器访问
Headers = {#模拟浏览器头部信息
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53"}

#表头
csvHeaders=['时间','标题']

print('信息爬取中：\n')
for pages in tqdm(range(1,65+1)):#信息从第一页到66页
    #发出请求
    request=urllib.request.Request(f'http://news.cqjtu.edu.cn/xxtz/{pages}.htm',headers=Headers)
    html="";
    #请求成功则获取网页内容
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code) #如果捕获到了HTTPError，则输出code
        if hasattr(e,"reason"):
            print(e.reason) #如果捕获到了URLError，则输出reason
    #解析网页
    soup=BeautifulSoup(html,'html5lib')
    #存放一条新闻
    subject=[]
    #查找所有li标签
    li=soup.find_all('li')
    #执行流程：l依次表示li中的一个元素，遍历完所有元素循环结束
    for l in li:
        #查找满足条件的div标签
        if l.find_all('div',class_="time") is not None and l.find_all('div',class_="right-title") is not None:
            #时间
            for time in l.find_all('div',class_="time"):
                subject.append(time.string)
            #新闻标题
            for title in l.find_all('div',class_="right-title"):
                for t in title.find_all('a',target="_blank"):
                    subject.append(t.string)
            if subject:
                print(subject)
                subjects.append(subject)
        subject=[]
#保存数据
with open('new.csv','w',newline='',encoding='utf-8') as file:
    fileWriter=csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n信息爬取完成！！！')

参考文献：https://blog.csdn.net/qq_55691662/article/details/121437828?spm=1001.2014.3001.5501