信息内容安全-爬虫实验

信息内容安全-爬虫实验

步骤

网络爬虫分为三步：
第一步是批量得到网页内容：可以借用 requests 模块中的 get 或 post 函数向网站发出请求，并储存得到的网页内容；
第二步是最关键重要的一步，分析网页内容，提取需要的有效信息：可以利用 BeautifulSoup 模块中的 bs 函数，借助 find 函数来识别标签，提取标签内容；也可以将网页内容转为字符串形式，利用正则表达式来提取；
第三步是收尾工作，将分析结果存储至文字或表格文档（放入数据库中也可）即可。

代码

# 信息内容安全-爬虫实验

import requests as req
from bs4 import BeautifulSoup as bs
import xlwt as xl
import re

# 向网站发出 get 请求，得到正确的状态码后传回网站响应
def request(url):
	try:
		response = req.get(url)		#注意查看请求是 get 还是 post
		if response.status_code == 200:		#正确的状态码为200
			return response.text
	except req.RequestException:
		return None

# 创建结果输出的表格文件
book = xl.Workbook(encoding = 'utf-8')
sheet = book.add_sheet('厚大法考罗翔老师最火 100 视频')
sheet.write(0, 0,