分享一个自己写的爬虫封装工具
自己买的ip代理,每次访问获取地址的网址。次数就会减一
使用load_ip方法保存ip。等不能用了再换一个,节省资源。
觉得有用的朋友,点个赞呗
from urllib import request,parse
import json,my_fake_useragent as ua
import re,requests
#urllib——post方法封装
def post(url,data=None,decode='utf-8'):
"""
:param url: 要获取的网站网址 string
:param decode: 编码格式(默认utf-8)
:param data: 请求体 dict
:return: json对象 class
"""
data = parse.urlencode(data).encode()
html = request.urlopen(url,data=data).read().decode(decode)
temp = json.loads(html)
return temp
#urllib——get方法封装
def get(url,par=None,decode='utf-8'):
"""
:param url: 要获取的网站网址 string
:param decode: 编码格式(默认utf-8)
:param parse:get请求需要添加的参数 dict
:return: json对象 class
"""
url = url + parse