代理ip之薅羊毛

最新推荐文章于 2023-05-16 13:54:08 发布

__wishing__

最新推荐文章于 2023-05-16 13:54:08 发布

阅读量793

点赞数 1

分类专栏： python 爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/qq_44749223/article/details/101024099

版权

博主分享了自己编写的爬虫封装工具，重点介绍了如何有效管理购买的代理IP资源，通过load_ip方法按需获取和更换IP，旨在节约使用次数，提高效率。

摘要由CSDN通过智能技术生成

分享一个自己写的爬虫封装工具

自己买的ip代理，每次访问获取地址的网址。次数就会减一
使用load_ip方法保存ip。等不能用了再换一个，节省资源。
觉得有用的朋友，点个赞呗

from urllib import request,parse
import json,my_fake_useragent as ua
import re,requests
#urllib——post方法封装
def post(url,data=None,decode='utf-8'):
    """
    :param url: 要获取的网站网址 string
    :param decode: 编码格式（默认utf-8）
    :param data: 请求体 dict
    :return: json对象 class
    """
    data = parse.urlencode(data).encode()
    html = request.urlopen(url,data=data).read().decode(decode)
    temp = json.loads(html)
    return temp
#urllib——get方法封装
def get(url,par=None,decode='utf-8'):
    """
    :param url: 要获取的网站网址 string
    :param decode: 编码格式（默认utf-8）
    :param parse:get请求需要添加的参数 dict
    :return: json对象 class
    """
    url = url + parse