“民族英雄事迹”—静态网页爬取一

 

这段代码是一个Python程序,主要用于从百度百科上获取指定关键词相关的页面内容。

import requests #引入requests模块

headers={
"User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Mobile Safari/537.36"

}

#设置请求头

content=requests.get(url="https://baike.baidu.com/item/%E6%9D%8E%E5%A4%A7%E9%92%8A/115618",headers=headers)

#通过headers传递请求头信息

content.encoding="utf-8"

#设置变量编码属性

print(content.text)

#输出“content”中文本信息

   代码使用了`requests`库来发送HTTP请求,模拟浏览器访问,以获取网页内容。

首先定义了一个名为`get_data`的函数,该函数接收一个关键词作为参数。在函数内部,定义了一个`headers`字典,

其中包含了User-Agent信息,用于伪装成正常的浏览器访问。

然后构造了一个URL,使用传入的关键词作为URL的一部分。

接下来利用`requests.get`方法发送HTTP GET请求,

传入URL和headers参数。

获取到的响应结果存储在`res`变量中。

接着设置编码为UTF-8,以正确处理中文字符。

最后打印出获取到的页面内容。

然后定义了一个名为`run`的函数,该函数主要是用来接收用户输入的历史人物关键词,

并调用`get_data`函数进行查询。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值