7.requests库
扩展:如何查看网站的robots协议呢,很简单,在网站的域名后加上/robots.txt就可以了。
import requests
URL = "https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md"
res = requests.get(URL)
#打开网页并存到res变量,或者实例化Response对象
print(res.status_code)
#打印变量res的响应状态码,以检查请求是否成功200成功
res = res.content
#把Reponse对象的内容以二进制数据的形式返回
wen = res.text
#把Response对象的内容以字符串的形式返回
res.encoding='utf-8'
#重定义Reponse对象的编码为utf-8。
#requests库会对数据的编码类型做出自己的判断。
#如果判断不准确,就会出现一堆乱码,那我们就可以去查看目标数据的编码,
#然后再用res.encoding把编码定义成和目标数据一致的类型即可。
with open("三国演义.txt","a")as san:
san.write(wen)
print(wen[:80])
#--------------扩展保存一首歌曲-------------------------------------------------------------#
import requests
url = "https://static.pandateacher.com/Over%20The%20Rainbow.mp3"
res = requests.get(url)
print(res.status_code)
musik = res.content
with open("英文歌曲.mp3","wb") as m:
m.write(musik)
print("歌曲已保存完毕")
print(len(musik))
#--------------------------------------------------------------------------------------------------#