一个小网页,不让复制,所以写几句代码,爬取网页的文字,一般文字放在在P标签的那种网页,其实都可以用的
把输出的文字复制粘贴保存到文件,命名为 评语.txt
import requests
from bs4 import BeautifulSoup
# 第二步,请求网页内容
url = 'http://www.ruiwen.com/pingyu/1293492.html' # 需要请求的网页的链接
html = requests.get(url) # get方式请求数据
# print(html.status_code) # 查看请求的状态码(200表示请求正常)
html.encoding = 'gbk'#解决中文可能会乱码的问题 有时候是utf-8
content = html.text
# 第三步,解析你需要的内容
# 解析器自带的是html.parser,也可以用lxml,兼容性更好,不过要单独安装第三方库
soup = BeautifulSoup(content, "lxml")
words=soup.find_all('p')
result = []
for th in words:
result.append(th.text)
print(th.text)
爬取内容如下