requests库通过get()获取网页内容

#get()是获取网页最常见的方式
import requests

####################################第一步######################################

#在调用requests.get()函数之后，返回的网页内容会保存为一个Response对象
#get()函数的参数URL链接必须采用HTTP或HTTPS方式访问
response = requests.get("http://www.baidu.com")

print(type(response))    #通过type()来查看返回response对象的类别
#结果：<class 'requests.models.Response'>

#返回的状态码，200：连接成功，404：连接失败
status_code = response.status_code
print(status_code)

#返回的内容
text = response.text
print(text)

#HTTP响应内容的编码方式
encoding = response.encoding
print(encoding)

#修改编码方式为utf-8
encoding1 = response.encoding = 'utf-8'
print(encoding1)

#更改完成之后，返回内容中的中文字符就可以正常显示了
text1 = response.text
print(text1)

####################################第二步######################################

#写一个读取网页内容的函数

def getHtmlText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status() #返回的状态码不是200的时候，引发异常；只要在收到响应的时候调用这个方法，就可以避开状态码200以外的各种意外情况
        r.encoding = 'utf-8'
        return r.text
    except:
        return ""
#测试
url = "http://www.baidu.com"
print("函数测试输出：\n",getHtmlText(url))