天蛛爬虫学习笔记——Requests爬虫实例

天蛛爬虫学习笔记——Requests爬虫实例

定义一个爬虫的通用框架

import requests
def getHTMLtext(url):
    """
    爬虫通用框架,
    """
    try:    #捕捉到错误后会执行except的语句
        r=requests.get(url)
        r.raise_for_status()# 返回值若为200࿰