爬虫学习round02

写在前面：
此博客仅用于记录个人学习进度，学识浅薄，若有错误观点欢迎评论区指出。欢迎各位前来交流。（部分材料来源网络，若有侵权，立即删除）

爬虫学习round02

思维导图

requests模块

• requests.request() 构造请求
• requests.get() 获取HTML的主要方法
• requests.head() 获取HTML头部信息的主要方法
• requests.put() 向HTML提交PUT请求的方法
• requests.patch()向HTML提交局部修改申请
• requests.delete()向HTML提交删除请求

requests.get()

res = requests.get(url,params,**kwargs)

属性	说明
status_code	HTTP请求返回状态，若为200则表示请求成功
text	HTTP响应内容的字符串形式，即返回的页面内容
encoding	从HTTPheader中猜测的相应内容编码方式
apparent_encoding	从内容中分析出的响应内容编码方式（备用编码方式）
content	HTTP响应内容的二进制形式

正则使用

re.match函数

• 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功，则返回None。

re.match(pattern,string,flag=0)

import re
print(re.match('www','www.baidu.com').span())#在起始位置匹配
print(re.match('com','www.baidu.com'))#不在起始位置匹配

• pattern 匹配的正则表达式
• string 要匹配的字符串
• flags 标志位，用于控制正则表达式的匹配方式，如是否区分大小写、是否多行匹配等

re.search函数

• 用于扫描整个字符串并返回第一个成功的匹配。

re.search(pattern,string,flag=0)

二者区别

• re.match只匹配字符串的开始，如果字符串开始不匹配正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。

re.compile函数

re.compile(pattern[,flags])

findall函数

• 用于在字符串列表中找到正则表达式的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

findall(string[,pos[,endpos]])