Python爬虫获取代理ip及端口

最新推荐文章于 2022-06-16 02:34:44 发布
VIP文章 最新推荐文章于 2022-06-16 02:34:44 发布
阅读量3.1k 收藏 4
点赞数 1
分类专栏： python学习 文章标签： Python 爬虫 代理ip 端口
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jasonLee_lijiaqi/article/details/79459287
版权 
'''
爬取代理ip
可以作为模块使用，在使用代理ip的时候直接调用该模块即可。
'''
import re
import urllib.request

def ExtractIP(url='http://www.xicidaili.com/'):
    headers = {
  'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0'}

    # urllib.request.Request（）用于向服务端发送请求，就如 http 协议客户端向服务端发送请求 POST
    # 添加了一个头部，伪装成浏览器,此时的url并不是一个裸露的url，而是具有header头部的url
    req = urllib.request.Request(url=url, headers=headers)

    resp
最低0.47元/天 解锁文章
jasonLee_lijiaqi
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python编写的爬虫代理ip池.zip
03-03
python编写的爬虫代理ip池.zip 运行环境 python3 和mysql数据库 下载使用 下载源码 git clone .git 或者在下载zip文件 安装依赖 pip install -i https://pypi.douban.com/simple/ -r requments.txt 创建数据库 mysql -uroot -p create database ippool charset=utf8; 配置项目 # ProxyIPPool/settings.py 基本的配置文件 # Database 使用mysql DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'ippool', # db name 'USER': 'root', # 用户名 'PASSWORD': 'password', # 密码 'HOST': 'localhost', 'PORT': 3306, } } # uwsgi.ini uwsgi.ini [uwsgi] # 监听的ip地址和端口 这里修改访问端口 http=0.0.0.0:8000 # 配置工程目录 项目所在的绝对路径 chdir=/path/to/proxy_ip_pool/ProxyIPPool/ # 配置项目的wsgi目录。相对于工程目录 wsgi-file=ProxyIPPool/wsgi.py 生成迁移文件和执行迁移文件 python manage.py makemigrations python manage.py migrate 启动 方法一 cd ProxyIPPool # 进入到manage.py这一级 python manage.py runserver # 启动后访问http://127.0.0.1:8000 方式二 # 使用uwgi 启动服务 这样可以后台启动 uwsgi --ini uwsgi.ini 可以使用方式一进行调试运行，方式二进行稳定运行 启动爬取代理ip的脚本 # 调试时运行 python run.py # 在服务器中可以运行　 nohup python -u run.py >> crawler.out 2>&1 & 注意在项目下创建存储日志的文件 /ProxyIPPool/log/log.txt API接口 请求方式GET http://{运行服务器的ip}/api/fetch/ 随机返回一个代理ip信息 http://{运行服务器的ip}/api/random/{个数}, 随机返回指定个数 首页展示的内容可以在这里IPPool/views.py中修改 # IPPool/views.py # 修改context 改变返回首页的内容 def index(requests): """ 返回到说明页 :param requests: :return: """ context = '<h3>1.访问接口http://{运行服务器的ip}/api/fetch/ 随机返回一个代理ip信息</h3> <br/>' \ '<h3>2.访问接口http://{运行服务器的ip}/api/random/{个数}, 随机返回指定个数</h3> <br/>' return HttpResponse(context)
使用python验证代理ip是否可用的实现方法
12-23
在使用爬虫爬取网络数据时，如果长时间对一个网站进行抓取时可能会遇到IP被封的情况，这种情况可以使用代理更换ip来突破服务器封IP的限制。 随手在百度上搜索免费代理IP，可以得到一系列的网站，这里我们通过对西刺网站的抓取来举例。 通过编写一个爬虫来抓取网站上面的IP地址，端口，及类型，把这些信息存到本地。这里不做介绍。 验证代理IP是否可用。原理是使用代理IP访问指定网站，如果返回状态为200，表示这个代理是可以使用的。 # _*_ coding:utf-8 _*_ import urllib2 import re class TestProxy(object): def __init__
爬虫的新手使用教程（python代理IP）
qq_46614154的博客
03-30 1124
前言 Python爬虫要经历爬虫、爬虫被限制、爬虫反限制的过程。当然后续还要网页爬虫限制优化，爬虫再反限制的一系列道高一尺魔高一丈的过程。爬虫的初级阶段，添加headers和ip代理可以解决很多问题。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun 本人自己在爬取豆瓣读书的时候,就以为爬取次数过多,直接被封了IP.后来就...
爬虫采集端口信息
rede
02-21 2388
最近在学习python爬虫，正好同事做蜜罐需要65535个端口信息，所以业余时间顺便把端口信息爬下来了。 这里写图片描述 然而有个站点提供了这些信息：https://www.speedguide.net/port.php?port=21，链接比较固定，参数port即是端口号，所以只要遍历0-65535就可以获取0-65535的端口信息了。 这里写图片描述 我们只需要如上图所示表格中的内容，我只要把...
python获取端口号
qq_45120633的博客
06-16 2357
python获取端口号
使用 Python 从文件中提取 IP 地址
allway2的博客
01-17 6465
让我们看看如何使用 Python 从文件中提取 IP 地址。 算法 ： 为正则表达式导入 re 模块。 使用 open() 函数打开文件。 读取文件中的所有行并将它们存储在列表中。 声明 IP 地址的模式。正则表达式模式是： r'(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})' 对于列表中的每个元素，使用 search() 函数搜索模式，将 IP 地址存储在列表中。 显示包含 IP 地址的列表。 要处理的文件是 test.txt ： 测...
Python爬虫实例——基于Xpath爬取西刺网站ip、端口信息
weixin_43636302的博客
11-16 1018
import requests from parsel import Selector # from bs4 import BeautifulSoup def getOneHtmlPage(page): url=f'https://www.xicidaili.com/nn/{page}' url='https://www.xicidaili.com/nn/%s'%(page) ...
python 三列求correlation_Python新手写爬虫全过程记录分析
weixin_39580950的博客
11-09 197
目标网站：http://bohaishibei.com/post/category/main/(一个很有趣的网站，一段话配一个图，老有意思了～)网站形式如下：目标：把大的目标分为几个小的目标。因为第一次干这个，所以对自己能力很清楚，所以完成顺序由简单到复杂。 1.爬取一期的内容，包括标题，和图片的url 2.把数据存在本地的txt文件中 3.想爬多少就爬就爬少 4.写一个网站，展示一下。(纯用于学...
爬虫入门基本知识
qq_45126531的博客
01-27 2323
文章目录1、什么是爬虫？2、常见的的数据获取形式3、爬虫分类4、爬虫的流程5、url的详解6、 常见的请求头参数7、 常用的请求方法8、常见的响应状态码 1、什么是爬虫？ 爬虫可以帮助我们在互联网上自动的获取数据和信息，本质是一段程序 2、常见的的数据获取形式 1、 问卷调查 2、购买 3、网上收集（爬虫） 3、爬虫分类 一般分为两类通用爬虫、聚焦爬虫 1、通用爬虫：准守robots协议的爬虫，通常指搜索引擎 2、针对特定网站爬虫，无视robots协议，一般在获取网站数据时用的爬虫就是聚焦爬虫 4、
python 指定端口读取网站_Python根据服务获取端口号的方法
weixin_35853499的博客
03-01 304
根据服务获取端口号首先需要下载一个psutil库然后根据服务名找到PID找到PID之后，通过pid获取端口号# -*- encoding=utf8 -*-import psutilimport re## 标题import osdef processinfo(x):'''根据服务名找到PID'''procs = list(psutil.process_iter()) # 获取所有服务列表print(...
python实现端口转发器的方法
09-22
主要介绍了python实现端口转发器的方法,涉及Python实现端口转发的技巧,支持TCP和UDP协议,需要的朋友可以参考下
python3设置代理IP爬取网页
05-08
python3设置代理IP爬取网页内容，IP和端口可自行百度更换
python爬虫数据保存到mongoDB的实例方法
12-17
　# 创建连接 因为使用的为本机数据库，所以IP写localhost即可，端口号为27017 　client = pymongo.MongoClient('localhost',27017) 　# 连接数据库(这里注意一点，mongo数据库有一个优点，就是当自己连接的...
通过Python爬虫自建豆瓣电影API.zip
最新发布
02-27
通过Python爬虫自建豆瓣电影API.zip 项目简介 在开发微信小程序「影库MDb」时，使用了豆瓣api来获取电影信息，后来由于豆瓣apikey失效了，小程序就无法正常访问，而个人主体貌似无法申请官方apikey，所以自己抽时间...
python列表推导式中使用if-else
热门推荐
jasonLee的博客
02-10 4万+
列表推导式总共有两种形式： ①[x for x in data if condition] 此处if主要起条件判断作用，data数据中只有满足if条件的才会被留下，最后统一生成为一个数据列表 ②[exp1 if condition else exp2 for x in data] 此处if...else主要起赋值作用，当data中的数据满足if条件时将其做exp1处理，否则按照exp2处...
python中执行shell命令的几个方法小结
jasonLee的博客
05-27 3万+
最近有个需求就是页面上执行shell命令，第一想到的就是os.system， 代码如下: os.system('cat /proc/cpuinfo') 但是发现页面上打印的命令执行结果 0或者1，当然不满足需求了。 尝试第二种方案 os.popen() 代码如下: output = os.popen('cat /proc/cpuinfo') print output.read() 通...
Python3 chardet模块查看编码格式
jasonLee的博客
02-26 1万+
chardet模块可以查看如下的编码格式 需要注意的是，如果遇到ＧＢＫ２３１２等编码的，在ｄｅｃｏｄｅ和ｅｎｃｏｄｅ时，一律使用ＧＢＫ进行编码或者解码，这是因为ＧＢＫ是其他ＧＢＫ编码的超集，向下兼容所有的ＧＢＫ编码。 下面是一个例子： #coding=utf-8 import urllib.request import chardet url = 'http://www.baidu.co...
Xpath当前节点寻找父节点下的子节点
jasonLee的博客
05-14 1万+
HTML的结构如下： &lt;section class="AutoTest"&gt; &lt;a title="xpath" href="#"&gt;&lt;/a&gt; &lt;div style="#"&gt; webdriver ui auto Test ！ &lt;/div&gt; &
爬虫隐藏自身的ip并伪装成浏览器
jasonLee的博客
02-27 1万+
爬虫隐藏自身的ip并伪装成浏览器 １、使用代理访问 就是说使用代理Ｉｐ,代理ｉｐ访问url之后，再将网页的内容在传给本机的ｉｐ； ''' 使用代理访问 ''' import urllib.request import random url = 'http://www.whatismyip.com.tw' #创建一个ｉｐｌｉｓｔ，随机使用ｉｐ iplist = ['219.223.251....
python 爬虫 使用代理IP
03-22
可以使用 requests 库中的 proxies 参数来设置代理IP，示例代码如下： ```python import requests proxies = { 'http': 'http://127.0.0.1:8080', 'https': 'http://127.0.0.1:8080' } response = requests.get('http://www.example.com', proxies=proxies) ``` 其中，http 和 https 分别代表 HTTP 和 HTTPS 协议，127.0.0.1:8080 是代理服务器的 IP 地址和端口号。在实际使用中，需要根据代理服务器的具体配置进行设置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值