从入门到入狱-----做爬虫之前的准备(代理ip的使用)

经常爬网站会导致ip被封,所以会涉及到购买代理ip的问题,这个就需要自己去找资源购买申请了,下面是申请到了过后怎么用代理ip访问网页的详细过程

  • request获取代理ip
import requests
def gei_ip():
    url='获取代理ip的网站'
    respons=requests.get(url)
    if respons.status_code == 200:
        print(respons.text)
        if respons.text[0]=='{':
            return '获取失败'
        else:
            return [ x for x in respons.text.split('\n') if x]
    else:
        return '获取失败'


def use_proxy():
    ips=gei_ip()
    if ips:
        proxy={'https':f'https://{ips[0]}'}
        respons=requests.get('https://cd.fang.anjuke.com/loupan/all/p1',proxies=proxy)
        if respons.status_code == 200:
            print(respons.text)
        else:
            return '请求失败!'

f=use_proxy()
while f == '获取失败'or f=='请求失败!':
    use_proxy()
  • selenium获取代理ip:
from selenium import webdriver
from selenium.webdriver import ChromeOptions
import requests
# 用谷歌浏览器获取代理ip 或者用火狐浏览器用代理ip
def get_ip():
    url='http://piping.mogumiao.com/proxy/api/get_ip_bs?appKey=6226c130427f487385ad7b5235bc603c&count=5&expiryDate=0&format=2&newLine=3'
    respons=requests.get(url)
    if respons.status_code == 200:
        print(respons.text)
        if respons.text[0]=='{':
            return '获取失败'
        else:
            return [ x for x in respons.text.split('\n') if x]
    else:
        return '获取失败'

ips=get_ip()
if ips:
    options=webdriver.ChromeOptions()
    options.add_argument(f'--proxy-server=https://{ips[0]}')
    options.add_argument(f'--proxy-server=http://{ips[1]}')

    b = webdriver.Chrome()
    b.get('https://cd.fang.anjuke.com/xinfang/')
else:
    print('获取失败')
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值