一、Wireshark抓取疯狂聊天数据包
1.疯狂聊天
进行操作前需要确定将防火墙全部关闭
然后只保留一个网络连接
如图所示,只保留了一个WLAN连接,进行疯狂聊天的用户要确保网络连接的是同一个,打开程序,随便输入一个昵称,然后加入一个房间
然后就可以一起聊天了
2.wireshark抓包
此时打开wireshark
此时再发送一条信息,我们在wireshark找到destination为255.255.255.255的,可以看到协议为UDP
点开查看详细信息就能看到自己发送的聊天信息
查看中英文是怎么编译的,接受一条中文信息,点开查看它
此处使用了utf-8转换的数据
经过测试,英文跟数字一样,是直接发送的
二、爬虫入门
1.爬虫
网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,网络爬虫的大致步骤为:
①发送请求
爬虫的第一个步骤就是对起始 URL 发送请求,以获取其返回的响应,值得注意的是,发送请求实质上是指发送请求报文的过程请求报文 包括以下四个方面:请求行、请求头、空行和请求体
②获取响应
爬虫的第二个步骤就是获取特定 URL 返回的响应,以提取包含在其中的数据,响应其实是指完整响应报文,它包括四个部分:响应行、响应头、空行和响应体
③解析网页
解析网页实质上需要完成两件事情,一是提取网页上的链接,二是提取网页上的资源
提取链接实质上是指获取存在于待解析网页上的其他网页的链接,网络爬虫需要给这些链接发送请求,如此循环,直至把特定网站全部抓取完毕为止,然后就可以提取资源
2.编程完成对南阳理工学院ACM题目网站 http://www.51mxd.cn/ 练习题目数据的抓取和保存
import requests# 导入网页请求库
from bs4 import BeautifulSoup# 导入网页解析库
import csv
from tqdm import tqdm
# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'
# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']
# 题目数据
subjects = []
# 爬取题目
print('题目信息爬取中:\n')
for pages in tqdm(range(1, 11 + 1)):
# 传入URL
r = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)
r.raise_for_status()
r.encoding = 'utf-8'
# 解析URL
soup = BeautifulSoup(r.text, 'html5lib')
#查找爬取与td相关所有内容
td = soup.find_all('td')
subject = []
for t in td:
if t.string is not None:
subject.append(t.string)
if len(subject) == 5:
subjects.append(subject)
subject = []
# 存放题目
with open('crawler.csv', 'w', newline='') as file:
fileWriter = csv.writer(file)
fileWriter.writerow(csvHeaders)
fileWriter.writerows(subjects)
print('\n题目信息爬取完成!!!')
打开上传的crawler,将其下载,然后打开
3.将重庆交通大学新闻网站中近几年所有的信息通知(http://news.cqjtu.edu.cn/xxtz.htm) 的发布日期和标题全部爬取下来,并写到CSV电子表格中
先打开网站http://news.cqjtu.edu.cn/xxtz.htm,右击想知道的信息
这里就能看到需要爬取的信息
# -*- coding: utf-8 -*-
"""
Created on Wed Nov 17 14:39:03 2021
@author: 86199
"""
import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
import urllib.request, urllib.error # 制定URL 获取网页数据
# 所有新闻
subjects = []
# 模拟浏览器访问
Headers = { # 模拟浏览器头部信息
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53"
}
# 表头
csvHeaders = ['时间', '标题']
print('信息爬取中:\n')
for pages in tqdm(range(1, 65 + 1)):
# 发出请求
request = urllib.request.Request(f'http://news.cqjtu.edu.cn/xxtz/{pages}.htm', headers=Headers)
html = ""
# 如果请求成功则获取网页内容
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
except urllib.error.URLError as e:
if hasattr(e, "code"):
print(e.code)
if hasattr(e, "reason"):
print(e.reason)
# 解析网页
soup = BeautifulSoup(html, 'html5lib')
# 存放一条新闻
subject = []
# 查找所有li标签
li = soup.find_all('li')
for l in li:
# 查找满足条件的div标签
if l.find_all('div',class_="time") is not None and l.find_all('div',class_="right-title") is not None:
# 时间
for time in l.find_all('div',class_="time"):
subject.append(time.string)
# 标题
for title in l.find_all('div',class_="right-title"):
for t in title.find_all('a',target="_blank"):
subject.append(t.string)
if subject:
print(subject)
subjects.append(subject)
subject = []
# 保存数据
with open('cqjtu.csv', 'w', newline='',encoding='utf-8') as file:
fileWriter = csv.writer(file)
fileWriter.writerow(csvHeaders)
fileWriter.writerows(subjects)
print('\n信息爬取完成!!!')
开始抓取
同理下载并打开
此时就能看到抓取的数据了