【Python网络爬虫与信息提取】

trumpguo

于 2024-04-13 09:59:05 发布

阅读量1.3k

点赞数 5

文章标签： python 爬虫

本文链接：https://blog.csdn.net/trumpguo/article/details/137628503

版权

一、Request库入门

1、Requests库的7个主要方法：

requests.request()：构造一个请求，支撑以下各方法的基础方
requests.get()：获取HTML网页的主要方法，对应于HTTP的GET
requests.head()：获取HTML网页头信息的方法，对应于http的head
requests.post()：向HTML网页提交POST请求的方法，对应于http的post
requests.put()：向HTML网页提交PUT请求的方法
requests.patch()：向HTML网页提交局部修改请求
requests.delete()：向HTML网页提交删除请求`

2、requests.get（）方法

r = requests.get(url)

Response对象的属性：

r.status_code：http请求的返回状态，200表示连接成功，404表示失
r.text：http响应内容的字符串形式，即url对应的页面内容
r.encoding：从HTTP header中猜测的响应内容编码方
r.apparent_encoding：从内容中分析出响应内容编码方式(备选编码方式)
r.content：http响应内容的二进制形式

3、使用`get`方法获取网络资源的基本流程：

使用r.status_code查看状态码，若是200，则继续用r.text、r.encoding、r.apparent_encoding、r.content去解析内容；若是404或其他，说明出错或产生异常

4、Requests库的异常

requests.ConnectionError：网络连接错误异常，如DNS查询失败，拒绝连接等
requests.HTTPError：HTTP错误异常
requests.URLRequired：URL缺失异常
requests.TooManyRedirects：超过最大重定向次数，产生重定向异常
requests.ConnectTimeout：连接远程服务器时超时异常
requests.Timeout：请求URL超时，产生超时异常

通用代码框架

import requests


def getHTMLTest(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()  # 如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"


if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLTest(url))

5、HTTP协议

HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。
- 请求与响应模式：用户发起请求，服务器做出相关响应
- 无状态：第一次请求和第二次请求之间并没有相关的关联
HTTP协议采用URL作为定位网络资源的标识。
URL格式http://host[:port][path]
host：合法的Internet主机域名或IP地址
port：端口号，缺省端口为80
path：请求资源的路径
URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源