静态网页爬取（requests）

import requests

#引入requests模块

from bs4 import BeautifulSoup as bs

#引入BeautifulSoup并命名为bs

headers={
"User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Mobile Safari/537.36"

}

#设置请求头

content=requests.get(url="https://baike.baidu.com/item/%E6%9D%8E%E5%A4%A7%E9%92%8A/115618",headers=headers)

#通过headers传递请求头信息

content.encoding="utf-8"

#设置变量编码属性

soup=bs(content.text,"html.parser")

#将HTTP响应内容解析为可操作的HTML文档对象

soup1=soup.find("div",class_="summary-content J-summary")

print(soup1.text)

#输出“soup1”中文本信息

   

首先导入了`requests`库和`BeautifulSoup`库。`requests`库用于发送HTTP请求，

而`BeautifulSoup`库用于解析HTML文档。

接下来定义了一个名为`get_data`的函数，该函数接收一个关键词作为参数。在函数内部，

同样定义了一个`headers`字典，用于伪装成正常的浏览器访问。然后构造了一个URL，

使用传入的关键词作为URL的一部分。接着利用`requests.get`方法发送HTTP GET请求，

传入URL和headers参数。获取到的响应结果存储在`res`变量中。接着设置编码为UTF-8，

以正确处理中文字符。最后返回获取到的页面内容。

接下来定义了一个名为`clear_data`的函数，该函数接收一个HTML页面内容作为参数。

在函数内部，使用`BeautifulSoup`库将HTML页面内容转换为BeautifulSoup对象。

然后通过选择器找到页面中的标题、副标题和摘要信息，并打印出来。

并利用`strip()`方法去除多余的空白字符。

最后定义了一个名为`run`的函数，该函数主要用于接收用户输入的人名关键词，

并调用`get_data`函数获取页面内容，再将内容传递给`clear_data`函数进行解析和清洗。