python解析url参数_Python 优雅的处理网页URL参数

一：前言

以前年少无知，不知道Python 官方模块里面有处理 URL的，拿起正则一顿匹配，所以在匹配url里面的页面的时候出现了问题。同时也怪我测试环境是Python3 线上生产环境是Python 2，对无序字典urlencode不一样，以及写的正则匹配问题。最后造成的结果是页面少匹配了很多页数据，最后按步测试才找到问题。

所以正确的使用URL处理模块还是方便和明智的

第三方模块有 yurl， Python3内置的有urllib.parse

Python2 处理url的模块不在一个位置， urllib里面有urlencode....，urlparse里面有urlparse,`parse_qsl....

参考链接：

二：目标

举个 利用API 获取数据的例子：

下面有个 url 和一个需要POST的参数字典，需要构造完成后发送参数获取数据，判断数据是否需要进行下一页，如果需要那么 page 部分需要提取出来后加1，再继续请求数据。

其实要做的事情很简单，提取page 加1，继续请求。

raw_url = 'http://api.xxxxxx.com/xxxxxx/xxx.json?'

param_dict = {

'id': 'xxxxx',

'card_addition': 1,

'token': 'fdflsdkr3029432',

'page': 145334,

}

三：实战代码

当时在Scrapy 的 start_requests 大致这样写的

ids = pipeline.execute()

for id in ids:

self.param_dict['id'] = id.strip()

param = urlencode(self.param_dict)

url = self.raw_url + param

yield scrapy.Request(url=url, callback=self.parse)

#

然后在 parse 里面对response做判断如果还需要对该id下的数据抓取下一页数据。

当时我直接对response.url正则匹配再加上Python3与Python 2，对无序字典urlencode不一样就出现少匹配了很多页面的问题。所以回来我利用python内置的URL 处理模块，我就改了代码。

# 解析url，获取url里面的各种组成成分

parsed_url = urlparse(response.url)

# 获取url组成成分里面的 query 参数部分

query = dict(parse_qsl(parsed_url.query))

# 获取page的数值，加1后重新urlencode 这样 下一页的 url就构造完成了

page = query.get('page')

query['page'] = int(page) + 1

param = urlencode(query)

next_url = raw_url + param

四： 后记

多多思考，多多搜索。加油！