响应结果处理
get | 请求 |
---|---|
response.json() | 解码器 |
response.text | 返回解码后的字符踹 |
response.content | 以字节形式 |
response.status_code | 响应状态码 |
response.request.headers | 请求的请求头 |
response.headers | 响应头 |
response.encoding = ‘utf-8’ | 可以设置编码类型 |
response.encoding | 获取当前的编码 |
请求的相关参数 | 总结 |
---|---|
:param method | 设置请求的方式 |
:param url: | 请求的url地址 |
:param params:(optional)Dictionary get | 请求后面拼接的参数 |
:param json:(optional)json data | 要求是一个json数据,等价于data参数的作用 |
:param headers:(optional)Dictionary | 设置请求头 |
:param cookies:(optional)Dict or CookieJar object | 模拟用户登录的时候 |
:param files:(optional)Dictionary | 上传文件 |
:param auth:(optional)Auth tuple web | 用户端认证auth(账号,密码) |
:param timeout:(optional) | 设置请求超时时间 |
:param allow_redirects:(optional)Boolean | Defaults to "True"是否允许重定向 |
:param proxies:(optional)Dictionary | 设置代理 |
:param verify:Defaults to “True”, | ssl证书认证,默认为True,表示进行证书认证 |
结构化数据 | 先有数据,再有结构 |
---|---|
json文件 | xml文件 |
非结构化数据 | 先有结构,再有数据 |
---|---|
文本电话号码 | HTML文件 |
什么是opener?
opener是urllib.request.OpenerDirector的实例,我们之前一直都在使用urlopen,他是一个特殊的opener
什么是代理?
代理实际上指的是代理服务器(proxy server),主要是为了代理网络用户去访问服务器,获取网络数据,这样是为了代理网络用户去访问服务器,而不是本机的真实ip了
什么是xpath
Xpath几位XML路径语言(XML PathLanguage),他是一种用来在XML文档中查找信息的语言,可用来XML文档中元素和属性进行搜索。
什么是XML?
XML是一种标记语言,很类似HTML,XML的设计宗旨是传输数据,而非显示数据
XML的标签需要我们自定义
常用的路径表达式
nodename选取此节点的所有子节点。
/从当前节点选取直接子节点
//从当前节点选择文档中的节点,而不考虑他们的位置。
.选取当前节点
..选取当前节点的父节点
@选取属性
//title|//price选取文档中的所有title和price元素.