首先咱们得有python基础并熟练使用python代码!!!!!!不说废话直接上代码.
第一步
# 导入requests库,用于发送HTTP请求
import requests
# 导入BeautifulSoup库,用于解析HTML文档
from bs4 import BeautifulSoup
第二步
# 定义目标网站的URL
# 目标网页URL
url = 'https://www.dushu.com/meiwen/random/'
# 定义请求头,模拟浏览器访问
# 请求头配置
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
第三步
# 发送GET请求,获取网页内容
# 发送GET请求
response = requests.get(url, headers=headers)
# 检查请求是否成功,状态码为200表示成功
# 确保请求成功
if response.status_code == 200:
第四步
# 使用BeautifulSoup解析HTML内容
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
第六步
# 打开文件,准备写入内容
# 将<h1>和<p>标签内容写入文件
with open('Cl@y.txt', 'w', encoding='utf-8') as f:
wrote_content = False # 用于标记是否成功写入了内容
# 遍历<h1>标签,写入文件
for h1 in h1_tags:
f.write(f"标题: {h1.get_text(strip=True)}\n")
wrote_content = True
# 写入内容分隔线
f.write("\n内容:\n")
# 遍历<p>标签,写入文件
for p in p_tags:
f.write(p.get_text(strip=True))
f.write(' ') # 在每个段落后面添加空格
wrote_content = True
第七步
# 写入换行符,结束内容写入
f.write('\n')
# 根据是否成功写入内容,打印相应提示
# 检查是否写入了内容
if wrote_content:
print("内容已成功保存到Cl@y.txt文件!")
else:
print("没有找到任何内容可写入文件。")
# 如果请求失败,打印失败提示和状态码
else:
print(f"请求失败,状态码:{response.status_code}")
全部代码合计!!!!!!
# 导入requests库,用于发送HTTP请求
import requests
# 导入BeautifulSoup库,用于解析HTML文档
from bs4 import BeautifulSoup
# 定义目标网站的URL
# 目标网页URL
url = 'https://www.dushu.com/meiwen/random/'
# 定义请求头,模拟浏览器访问
# 请求头配置
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 发送GET请求,获取网页内容
# 发送GET请求
response = requests.get(url, headers=headers)
# 检查请求是否成功,状态码为200表示成功
# 确保请求成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML内容
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 查找所有的<h1>标签和<p>标签
# 分别提取<h1>和<p>标签
h1_tags = soup.find_all('h1')
p_tags = soup.find_all('p')
# 打开文件,准备写入内容
# 将<h1>和<p>标签内容写入文件
with open('Cl@y.txt', 'w', encoding='utf-8') as f:
wrote_content = False # 用于标记是否成功写入了内容
# 遍历<h1>标签,写入文件
for h1 in h1_tags:
f.write(f"标题: {h1.get_text(strip=True)}\n")
wrote_content = True
# 写入内容分隔线
f.write("\n内容:\n")
# 遍历<p>标签,写入文件
for p in p_tags:
f.write(p.get_text(strip=True))
f.write(' ') # 在每个段落后面添加空格
wrote_content = True
# 写入换行符,结束内容写入
f.write('\n')
# 根据是否成功写入内容,打印相应提示
# 检查是否写入了内容
if wrote_content:
print("内容已成功保存到Cl@y.txt文件!")
else:
print("没有找到任何内容可写入文件。")
# 如果请求失败,打印失败提示和状态码
else:
print(f"请求失败,状态码:{response.status_code}")