网络协议抓包与爬虫入门

最新推荐文章于 2024-07-27 21:20:01 发布

原创最新推荐文章于 2024-07-27 21:20:01 发布 · 2.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#http #https #网络协议

本文介绍如何使用Wireshark抓取聊天信息，并利用Python爬虫技术爬取南阳理工学院ACM题目网站及学校官网的通知信息。通过实践操作，详细展示了关闭防火墙、禁用网络连接等抓包前序步骤，以及使用requests和BeautifulSoup4库进行网页爬取的过程。

一、使用wireshark抓取聊天信息

1.前序步骤

①关闭防火墙

②禁用除WLAN以外的网络连接

2.打开疯狂聊天

crazychat.exe

2.创建房间

3.聊天内容

4.打开wireshark，对WLAN进行抓包

5.使用筛选器将目的地址设为255.255.255.255(ip.addr == 255.255.255.255)

6.查看英文字符的显示和明文显示

二、爬虫爬取学校通知信息

利用pip下载库

pip install requests

pip install beautifulsoup4

pip install html5lib

1.爬取南阳理工学院ACM题目网站

1.打开网页http://www.51mxd.cn/problemset.php-page=1.htm，查看页面源代码(点击鼠标右键，选择页面源代码)

2.代码部分

#导入包
import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm#在电脑终端上显示进度，使代码可视化进度加快
# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'
# 题目数据
subjects = []
# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']
# 写入文件
with open('E:/homework/1.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n题目信息爬取完成！！！')

结果图

2、爬取学校官网的信息通知

1.分析网页源代码http://news.cqjtu.edu.cn/xxtz.htm，查看全部通知通知发出的时间和通知的标题

2.代码

#导入包
import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm#在电脑终端上显示进度，使代码可视化进度加快
# 模拟浏览器访问
cqjtu_Headers ={ 
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44'
}
#csv的表头
cqjtu_head=["日期","标题"]
#存放内容
cqjtu_infomation=[]
def get_page_number():
    r=requests.get(f"http://news.cqjtu.edu.cn/xxtz.htm",headers=cqjtu_Headers)
    r.raise_for_status()
    r.encoding="utf-8"
    page_array={
    'type':'text/javascript'
    }
    soup = BeautifulSoup(r.text, 'html5lib')
    page_num=soup.find_all('script',page_array)
    page_number=page_num[4].string#只靠标签这些定位好像不是唯一，只能手动定位了
    page_number=page_number.strip('function a204111_gopage_fun(){_simple_list_gotopage_fun(')#删掉除页数以外的其他内容
    page_number=page_number.strip(',\'a204111GOPAGE\',2)}')
    page_number=int(page_number)#转为数字
    return page_number
#爬取页面
def get_time_and_title(page_num,cqjtu_Headers):#页数，请求头
    if page_num==66 :
        url='http://news.cqjtu.edu.cn/xxtz.htm'
    else :
        url=f'http://news.cqjtu.edu.cn/xxtz/{page_num}.htm'
    r=requests.get(url,headers=cqjtu_Headers)
    r.raise_for_status()
    r.encoding="utf-8"
    array={#根据class来选择
        'class':'time',
        }
    title_array={
     'target':'_blank'
    }
    page_array={
    'type':'text/javascript'
    }
    soup = BeautifulSoup(r.text, 'html5lib')
    time=soup.find_all('div',array)
    title=soup.find_all('a',title_array)
    temp=[]
    for i in range(0,len(time)):
        time_s=time[i].string
        time_s=time_s.strip('\n                                    ')
        time_s=time_s.strip('\n                                ')
        #清除空格
        temp.append(time_s)
        temp.append(title[i+1].string)
        cqjtu_infomation.append(temp)
        temp=[]
#写入文件
def write_csv(cqjtu_info):
    with open('E:/homework/2.csv', 'w', newline='',encoding='utf-8') as file:
        fileWriter = csv.writer(file)
        fileWriter.writerow(cqjtu_head)
        fileWriter.writerows(cqjtu_info)
        print('爬取信息成功')

调用函数

page_num=get_page_number()#获得页数
for i in tqdm(range(page_num,0,-1)):
    get_time_and_title(i,cqjtu_Headers)
write_csv(cqjtu_infomation)

结果图

三、总结

通过这次的实验，我了解到了如何爬取静态网页，可以通过查看页面源代码来获取标签。

四、参考文献

Python：BeautifulSoup之soup.find_all()用法_小汉堡Yang的博客-CSDN博客

(60条消息) Python3 网络爬虫——爬取简单的网页_Mr.Yu的博客-CSDN博客

练习场 - ACM在线评测系统