Python 解析获取 URL 参数以及使用

下文中使用的 URL 地址是:https://www.example.com/?keyword=abc&id=12

Python 解析获取 URL 参数的步骤如下:

首先导入 Python3 自带的urllib.parse

该模块用于将 URL 解析为各部分(需要注意的是解析的是字符串,所以要加引号):

>>> from urllib import parse

或者

>>> from urllib.parse import urlparse

然后使用urlparse来将字符串解析成 URL

>>> url=parse.urlparse("https://www.example.com/?keyword=abc&id=12")

或者直接

>>> url=urlparse("https://www.example.com/?keyword=abc&id=12")

这时候url变量就包含了 URL 的各部分信息,如下:

>>> url
ParseResult(scheme='https', netloc='www.example.com', path='/', params='', query='keyword=abc&id=12', fragment='')

可以通过以下方式来访问其中某一部分的内容,这里以query部分为例(也就是参数部分):

>>> url.query
'keyword=abc&id=12'

转换成字典格式

假如需要将其以字典格式返回,那么就需要使用parse.parse_qs

>>> parad=parse.parse_qs(url.query)
>>> parad
{'keyword': ['abc'], 'id': ['12']}

也可以获取其中某一个参数对应的值,如下:

>>> para.get('id')
['12']

或者直接使用:

>>> parse.parse_qs(url.query).get('id')
['12']

转换成列表格式

假如需要将其以列表格式返回,列表里的元素是元组(tuple)格式,那么就需要使用parse.parse_qsl

>>> paral=parse.parse_qsl(url.query)
>>> paral
[('keyword', 'abc'), ('id', '12')]

使用起来,没有字典那么方便直接,如下:

>>> paral[0][0]
'keyword'

更详细严谨的介绍和使用方法可以查看官方文档:https://docs.python.org/3/library/urllib.parse.html

希望可以帮到有需要的人~

  • 7
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在进行Python爬虫时遇到加密参数URL,我们需要获取加密参数的值并解析。首先,我们可以分析URL的结构和加密参数的位置。通常,加密参数会以特定的格式出现在URL中,可能是作为查询参数,也可能是作为路径的一部分。例如,URL可以是类似于 `www.example.com/api/query?param1=value1&param2=value2` 的形式。 我们可以使用Python的网络请求库(如`requests`)向URL发送请求获取网页内容。在发送请求时,我们可以将加密参数的值替换为我们需要的数值。如果加密参数是作为查询参数出现的,我们可以将查询参数加入请求的URL中,如 `http://www.example.com/api/query?param1=value1`。如果加密参数是作为路径的一部分,我们可以将路径中的特定部分替换为我们需要的数值,如 `http://www.example.com/api/query/value1`。 如果加密参数的取值来自于某种加密算法(如MD5、SHA1等),我们需要先了解加密算法的原理,然后根据加密算法的特性进行参数生成。 当我们成功获取到带有正确加密参数URL后,可以继续使用爬虫框架(如`BeautifulSoup`)或者正则表达式等技术对网页内容进行解析,提取我们所需的信息。 值得注意的是,爬虫过程中需要尊重网站的爬虫规则,遵守相关法律法规。在处理加密参数时,我们应该在合法范围内进行处理,如果网站有明确的反爬虫机制,我们需要避免触发这些机制。此外,我们也要注意避免对服务器造成过大的负担,合理设置爬取频率和请求并发数,以确保爬虫行为的合理性和稳定性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值