一篇文章搞定Python爬虫_python123.io/ws/demo.html-CSDN博客

本文链接：https://blog.csdn.net/weixin_44782094/article/details/104949804

一、Requests库的7个主要方法

方法	说明
requests.request()	构造一个请求，支撑一下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.pathch()	向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

1.requests.get

r = requests.get(url)

返回一个包含服务器资源的Response对象，包含爬虫返回的全部内容
构造一个向服务器请求资源的Request对象

requests.get(url,params=None,**kwargs)

url:拟获取网页的url链接
params:url中的额外参数，字典或字节流格式，可选
**kwargs:12个控制访问的参数

2.Response对象的属性

属性	说明
r.status_code	HTTP请求的返回状态，200表示连接成功，404表示失败
r.text	HTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）
r.content	HTTP响应的二进制形式

r.encoding:如果header中不存在charset，则认为编码为ISO-8859-1
r.apparent_encoding:根据网页内容分析出的编码方式

3.理解Requests库的异常

异常	说明
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器时异常
requests.URLRequired	URL缺失异常
Requests.Timeout	请求URL超时，产生超时异常

异常	说明
r.raise_for_status	如果不是200，产生异常requests.HTTPError

爬取网页的通用代码框架

import requests
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status() # 如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '产生异常'

if __name__ == '__main__':
    url = 'http://www.baidu.com'
    print(getHTMLText(url))

二、HTTP协议

HTTP，Hypertext Transfer Protocol,超文本传输协议。

HTTP是一个基于”请求与响应“模式的、无状态的应用层协议。

无状态：第一次请求与第二次请求无关联

HTTP协议采用URL作为定位网络资源的标识。

URL格式 http://host[:port][path]

host:合法的Internet主机域名或IP地址
port:端口号，缺省端口为80
path:请求资源的路径

HTTP URL的理解

URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源。

1.HTTP协议对资源的操作

方法	说明
GET	请求获取URL位置的资源
HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

2.理解PATCH和PUT的区别

假设URL位置有一组数据UserInfo,包括UserID、UserName等20个字段。

需求：用户修改了UserName,其他不变。

采用PATCH,仅向URL提交UserName的局部更新请求。
采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除。

PATCH的最主要好处：节省网络带宽

三、Requests库的7个主要方法解析

1.requests.request()

requests.request(method,url,**kwargs)

method：请求方式。

‘GET’、‘HEAD’、‘POST’、‘PUT’、‘PATCH’、‘delete’、‘OPTIONS’

**kwargs:控制访问的参数，均为可选项。

params:字典或字节序列，作为参数增加到url中。
data：字典、字节序列对象，重点是向服务器提交资源时使用。
json:JSON格式的数据，作为request的内容。
headers:字典，HTTP定制头。
cookies:字典或CookieJar,Request中的cookie。
auth:元祖，支持HTTP认证功能。
files:字典类型，传输文件。
timeout:设定超时时间，秒为单位。
proxies:字典类型，设定访问代理服务器，可以增加登录认证。
allow_redirects:True/False,默认为True，重定向开关。
stream:True/False,默认为True，获取内容立即下载开关。
verify:True/False,默认为True，认证SSL证书开关。
cert:本地SSL证书路径。

四、Beautiful Soup库使用

1.BeautifulSoup 基本使用

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>','html.parser') # 第一个参数为html文本内容，对html标签进行解析

2.Beautiful Soup库理解

Beautiful Soup库,也叫做 beautifulsoup4或bs4, 是解析、变量、维护”标签树“的功能库。只要提供的文件是标签类型，Beautiful Soup库都可以用来解析。

因为文档和标签树是一一对应的，标签树经过Beautiful Soup，转换为Beautiful Soup类型。故，文档和标签树以及Beautiful Soup是一一对应关系。

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>','html.parser')
soup2 = BeautifulSoup(open("D://demo.html",'html.parser')

Beautiful Soup对应一个HTML/XML文档的全部内容。

3.Beautiful Soup库解析器

解析器	使用方法	条件
bs的HTML解析器	BeautifulSoup(mk,‘html.parser’)	安装bs4库
lxml的HTML解析器	BeautifulSoup(mk,‘lxml’)	pip install lxml
lxml的XML解析器	BeautifulSoup(mk,‘xml’)	pip install lxml
html5lib的解析器	BeautifulSoup(mk,‘htlm5lib’)	pip install html5lib

4.Beautiful Soup类的基本元素

基本元素	说明
Tag	标签，最基本的信息组织单元，分别用<>和</>表面开头和结尾
Name	标签的名称， … 的名字是’p’，格式：.name
Attributes	标签的属性，字典形式组织，格式：.attrs
NavigableString	标签内非属性字符串，<>…</>中字符串，格式：.string
Comment	标签内字符串的注释部分，一种特殊的Comment类型

import requests
r = requests.get('http://python123.io/ws/demo.html')
demo = r.text # demo为标签文本
>
'<html><head><title>This is a python demo page</title></head>\r\n<body>\r\n<p class="title"><b>The demo python introduces several python courses.</b></p>\r\n<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\r\n<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p>\r\n</body></html>'

# 利用BeautifulSoup 解析成标签树
from bs4 import BeautifulSoup
soup = BeautifulSoup(demo,'html.parser')
soup
>[out]:
<html><head><title>This is a python demo page</title></head>
<body>
<p class="title"><b>The demo python introduces several python courses.</b></p>
<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>
</body></html>

print(soup.prettify())   # 输出标签树 
>[out]:
<html>
 <head>
  <title>
   This is a python demo page
  </title>
 </head>
 <body>
  <p class="title">
   <b>
    The demo python introduces several python courses.
   </b>
  </p>
  <p class="course">
   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">
    Basic Python
   </a>
   and
   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">
    Advanced Python
   </a>
   .
  </p>
 </body>
</html>

实例一 Tag

# 任何标签都可直接用soup.<标签>将其取出,当文本中存在多个相同标签时，其返回的为第一个

import requests
r = requests.get('http://python123.io/ws/demo.html')
demo = r