初级爬虫——Python代理IP爬虫新手使用教程_python爬虫怎么打印自己的ip-CSDN博客

本文链接：https://blog.csdn.net/lamehd/article/details/102379818

本文介绍了初级爬虫阶段如何利用Python爬取并验证代理IP，以应对爬虫被限制的问题。文章详细讲解了爬取、过滤、使用代理IP的步骤，并提供了相关代码示例，强调在实际爬取时还需验证IP的可用性。

摘要由CSDN通过智能技术生成

前言

Python爬虫要经历爬虫、爬虫被限制、爬虫反限制的过程。当然后续还要网页爬虫限制优化，爬虫再反限制的一系列道高一尺魔高一丈的过程。爬虫的初级阶段，添加headers和ip代理可以解决很多问题。

思路：

爬取一些IP,过滤掉不可用.
在requests的请求的proxies参数加入对应的IP.
继续爬取.
收工
好吧,都是废话,理论大家都懂,下面直接上代码...

运行环境

Python 3.7, Pycharm

这些需要大家直接去搭建好环境...

准备工作

爬取IP地址的网站(国内高匿代理)
校验IP地址的网站
你之前被封IP的py爬虫脚本...

上面的网址看个人的情况来选取

爬取IP的完整代码

PS:简单的使用bs4获取IP和端口号,没有啥难度,里面增加了一个过滤不可用IP的逻辑

关键地方都有注释了

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Time : 2018/11/22 
# @Author : liangk
# @Site :
# @File : auto_archive_ios.py
# @Software: PyCharm
 
 
import requests
from bs4 import BeautifulSoup
import json
 
 
class GetIp(object):
 """抓取代理IP"""
 
 def __init__(self):
 """初始化变量"""
 self.url = 'http://www.xicidaili.com/nn/'
 self.check_url = 'https://www.ip.cn/'
 self.ip_list = []
 
 @staticmethod
 def get_html(url):
 """请求html页面信息"""
 header = {
 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
 }
 try:
 request = requests.get(url