opener和xpath

响应结果处理

get请求
response.json()解码器
response.text返回解码后的字符踹
response.content以字节形式
response.status_code响应状态码
response.request.headers请求的请求头
response.headers响应头
response.encoding = ‘utf-8’可以设置编码类型
response.encoding获取当前的编码
请求的相关参数总结
:param method设置请求的方式
:param url:请求的url地址
:param params:(optional)Dictionary get请求后面拼接的参数
:param json:(optional)json data要求是一个json数据,等价于data参数的作用
:param headers:(optional)Dictionary设置请求头
:param cookies:(optional)Dict or CookieJar object模拟用户登录的时候
:param files:(optional)Dictionary上传文件
:param auth:(optional)Auth tuple web用户端认证auth(账号,密码)
:param timeout:(optional)设置请求超时时间
:param allow_redirects:(optional)BooleanDefaults to "True"是否允许重定向
:param proxies:(optional)Dictionary设置代理
:param verify:Defaults to “True”,ssl证书认证,默认为True,表示进行证书认证
结构化数据先有数据,再有结构
json文件xml文件
非结构化数据先有结构,再有数据
文本电话号码HTML文件

什么是opener?

opener是urllib.request.OpenerDirector的实例,我们之前一直都在使用urlopen,他是一个特殊的opener

什么是代理?
代理实际上指的是代理服务器(proxy server),主要是为了代理网络用户去访问服务器,获取网络数据,这样是为了代理网络用户去访问服务器,而不是本机的真实ip了

什么是xpath

Xpath几位XML路径语言(XML PathLanguage),他是一种用来在XML文档中查找信息的语言,可用来XML文档中元素和属性进行搜索。

什么是XML?

XML是一种标记语言,很类似HTML,XML的设计宗旨是传输数据,而非显示数据
XML的标签需要我们自定义

常用的路径表达式

nodename选取此节点的所有子节点。
/从当前节点选取直接子节点
//从当前节点选择文档中的节点,而不考虑他们的位置。
.选取当前节点
..选取当前节点的父节点
@选取属性
//title|//price选取文档中的所有title和price元素.

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值