2020 重定向url去重

最新推荐文章于 2024-01-05 22:02:38 发布

ywj_486

最新推荐文章于 2024-01-05 22:02:38 发布

阅读量310

点赞数 1

分类专栏： python 文章标签： python URL去重 list转set去重

本文链接：https://blog.csdn.net/ywj_486/article/details/104453670

版权

python 专栏收录该内容

21 篇文章 0 订阅

订阅专栏

最近业务用上了重定向，每次重定向的网址打印出来都有重复的，所以做了下去重~

import requests


def get_redirect_url():
    urls = []  # 创建列表
    for i in range(10):
        # 重定向前的链接
        url = "替换成自己的链接"
        # 请求头设置浏览器代理
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
        # 请求网页
        response = requests.get(url, headers=headers)
        # print(response.url)  # 打印重定向后的网址
        urls.append(response.url)
    s = set(urls)  # 列表转换集合去重
    print(s)
    print(type(s))
    print(len(s))
    # 返回重定向后的网址
    return urls


if __name__ == '__main__':
    redirect_url = get_redirect_url()