Python爬虫练习——爬取代理IP（2）[多线程]

最新推荐文章于 2024-06-26 09:57:32 发布
最新推荐文章于 2024-06-26 09:57:32 发布
阅读量335 收藏
点赞数 1
分类专栏： 爬虫 文章标签： python 多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44449370/article/details/104352834
版权

接上一篇博客，传送门：爬取代理IP(1)
本文是个人练习心得分享，若有错误，还望指正

多线程验证代理IP

考虑到这个程序最耗时的部分是验证IP（因为有大量的IP不能使用，等待响应请求的时间很长），所以考虑用多线程来完成IP的验证。

1.导入必要的包
from concurrent.futures import ThreadPoolExecutor

这个是使用多线程处理常用包，可以生成线程池

2.线程池的使用

首先是打开线程池，mxw 是一个自定义的变量，用于设置最大线程数，这里默认为 10

#创建线程池
with ThreadPoolExecutor(max_workers = mxw)<
最低0.47元/天 解锁文章
编程小白的自传
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫之有效代理多线程爬取并检测有效ip并存储
liaozp88的博客
12-06 1859
本案例只做学习，不做他用！ import random import requests from lxml import etree import telnetlib import threading UA=[ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE
利用多线程爬虫搭建代理ip池的两种方法！
爬遍所有网站
08-20 756
前言 ip池的作用就不多说了 我们在爬虫的时候总是会遇到跑的太频繁而导致ip被封号，搭建代理ip池是解决的最好方法，本文提供两种简单的利用爬虫搭建代理ip池的方法。 一、ip池是什么？ 简单来说就是存储一堆ip方便自己调用，用于突破反爬虫机制 其他作用自行百度 二、爬取原理 先爬后验再存 意思是先去网站爬取有效数据 通过试验验证ip是否可用 存储到数据库方便调用（mysql） 当然你也可以把他写成方法丢到服务器自己来调用 多线程方法我放到了最后 三、使用步骤 方法一 爬取网站https://
使用python 多线程爬取代理ip
anlingfi327229的博客
03-09 252
很多时候都需要用到代理ip，一个简单的方式就是写爬虫到网络上爬。这里以 西刺代理 http://www.xicidaili.com/ 为例。 零、简单从浏览器看下网页时怎么打开的： 这里以chrome浏览器为例，按f12打开开发者工具，点击Network开始记录请求。然后在地址栏输入 http://www.xicidaiil.com/nn 按回车，可看见下图： 在右边的n...
python 爬虫 多线程多代理爬取工具
qq_36671927的博客
12-24 374
python 爬虫 多线程多代理爬取工具 设置代理爬取 import requests import re import random import threading # 爬虫类 class Spider(): """docstring for ClassName""" def __init__(self): self.url="https://www.kuaidaili.com/f...
python app多线程爬虫以及代理ip的使用
u014796999的博客
11-05 757
用的是线程池 import requests import json from multiprocessing import Queue from handle_mongo import mongo_info from concurrent.futures import ThreadPoolExecutor max_workers 线程数 pool = ThreadPoolExecut...
Python知乎爬虫——爬取知乎用户简单数据信息
05-08
萌新入坑代码，大佬勿喷
Pyspider框架——Python爬虫实战之爬取V2EX网站帖子
02-20
Pyspider框架学习时走过的一些坑我所遇到的一些错误：首先，本爬虫目标：使用Pyspider框架爬取V2EX网站的帖子中的问题和内容，然后将爬取的数据保存在本地。V2EX中大部分的帖子查看是不需要登录的，当然
多线程+代理池爬取天天基金网、股票数据(无需使用爬虫框架)
云外孤鸟
03-27 6655
文章目录简介技术路线编写思路数据格式功能截图配置说明补充 简介 提到爬虫，大部分人都会想到使用Scrapy工具，但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解，我们可以手动实现多线程的爬虫过程，同时，引入IP代理池进行基本的反爬操作。 本次使用天天基金网进行爬虫，该网站具有反爬机制，同时数量足够大，多线程效果较为明显。 技术路线 IP代理池 多线程 爬虫与反爬 编写思路 首先，开始分...
python3多线程爬虫实现异步更新代理池
找到工作之前一天十篇的博客
03-16 696
这几天要搞毕业设计，一个简单的大数据分析系统，既然是大数据分析系统，那么一定要有数据，目标是用python写一个爬虫，爬大约100w条数据 这就遇到了第一个问题，100w条数据单线程的话需要爬很久，所以要用多线程获取，这又会有一个新问题，爬取频率过高的话会被封ip，所以要使用https代理(貌似http不行，会被查出来) 然后又出现一个问题，免费的代理稳定性太差，而且访问速度慢,自己写了个爬虫获取...
每日爬虫练习：多线程代理IP池实战（抓取、清洗）
金鞍少年的博客
04-05 1664
文章目录一、前言二、需求：三、IP代理池设计3.1 意义3.2 IP代理科普3.3 技术路线3.4 设计思路3.5 实战过程中遇到的问题四、快代理高匿IP爬取清洗实战： 一、前言 2020-04-04日爬虫练习 每日一个爬虫小练习，学习爬虫的记得关注哦！ 学习编程就像学习骑自行车一样，对新手来说最重要的是持之以恒的练习。 在《汲取地下水》这一章节中看见的一句话：“别担心自己的才华或能力不足。持之...
多线程+代理ip池 爬虫
LY的博客
03-17 1861
# coding=utf-8 import tushare as ts import pandas as pd import requests import json import re import time from retrying import retry from concurrent.futures import ThreadPoolExecutor import random ...
【Python3.6爬虫学习记录】（十一）使用代理IP及用多线程测试IP可用性--刷访问量
子耶
08-19 3218
第一部分 requests ChromeDriver PhantomJS的代理IP使用 1-1 requests使用代理IP 1-2 ChromeDriver使用代理IP 1-3 PhantomJS使用代理IP 第二部分测试代理IP的可用性 2-1 未使用线程测试 2-2 使用多线程测试
Urllib3+BeautifulSoup+Thread：多线程爬虫教程（爬取西刺代理IP）
yungeisme的博客
06-02 1851
导入模块 from bs4 import BeautifulSoup import urllib3 import urllib import threading Urllib3+BeautifulSoup+Thread：多线程爬虫教程（爬取西刺代理IP） 爬虫是学python中最好玩的学习方法，也是方便生活、工作中的有效利器，爬虫帮我们工作，那会节省大量的人力。 在该博客中，分成...
【Python】在 VS Code 里面绘制动图不显示动画的解决办法
Suasy小易的博客
06-25 203
VS Code 中使用 matplotlib 的动画功能，需要配置适当的绘图后端。
昇思25天学习打卡营第2天|张量学习
最新发布
main_h_的博客
06-26 173
张量是一种特殊的数据结构，主要是描述矩阵 行列式这类。张量（Tensor）是MindSpore网络运算中的基本数据结构，类似日常的多维数组，不过比基础的数组多了一些描述信息。
Windows系统上更换pip源的详细指南
2402_85758349的博客
06-21 650
Python的包管理工具pip允许用户从Python包索引(PyPI)下载和安装第三方库。然而，默认的PyPI源有时可能因为网络问题或地理位置导致访问速度较慢。更换为更快的源可以显著提高下载和安装Python包的速度。本文将详细介绍如何在Windows系统上更换pip的源。
python爬虫正则表达式爬取图片练习题
10-16
好的，针对您的问题，我可以给您提供一个简单的爬取图片的示例代码： ```python import re import requests url = 'https://www.example.com' html = requests.get(url).text img_urls = re.findall('img src="(.*...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值