开始记录学习python定向爬取网页的第一天

#开始记录学习python定向爬取网页的第一天# 标题

python爬取网页通用框架

#爬取网页的通用框架
import requests
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status() #如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

## if __name__ == "_main_":

将框架封装成函数，命名为getHTTPText（url），进行测试
    url = "http://www.baidu.com"
    print (getHTMLText(url))

这里主要用到的就是requests这个库，也是写爬虫中最常用到的主要库，这个库总共有七种方法，主要的一个方法还是requests方法，其他的六种都是结合这个方法实现的。

requests.get(url)

这里通过给定get方法和url，构造一个向服务器请求资源的Request对象。（由于python对大小写敏感，所以这里的R事大写的）。

Response

response对象 包含从服务器返回的所有资源，这里是指返回的变量，代码里用r表示。

raise_for_status()

这个方法的作用是，如果上面的url访问失败，返回的不是200，则产生异常requests.HTTPError，报错‘HTTP异常’。

if name == “main”:

这个是将以上的框架封装成一个名为getHTTPText（url）的函数，函数名字其实是可以自定义的。
（只是自己的一点理解不是很严谨，如果有不对的地方欢迎大牛指点）