源码
'''
1.目标网址:
2.分析目标网页的标签
3.熟悉标签结构
4.导入第三方库
5.代码实现
'''
import requests
from bs4 import BeautifulSoup
#要爬取的网址
url = 'https://www.biqukan.com/78_78176/523395010.html'
#1.发起请求
response = requests.get(url=url)
#2.判断是否请求成功,根据状态码判断
print('状态码',response.status_code)
#3.设置与请求的页面的相同的编码, 默认浏览器 ISO-8859-1
response.encoding = 'gbk'
#4.解析请求的结构
html = response.text
#5.解析结构
soup = BeautifulSoup(html,'lxml')
#6.利用解析的实例化对象进行标签内容的获取
bs_text = soup.find_all('div', class_='showtxt')
texts = bs_text[0].text
#print(texts)
#7.去除空格 或者 空行
texts = texts.replace("'\xa0'",'\n\n')
#8.下载
file = open('超跑.txt','w',encoding='utf-8',newline='')
#9.写入
file.write(texts)
#10.关闭
file.close()
print('over!')
特别注意
对网页分析https://www.biqukan.com/78_78176/523395010.html
使用火狐或者谷歌 按f12
查看如下