爬虫手册06 代理池和代理服务器搭建

最新推荐文章于 2024-04-19 09:36:40 发布
最新推荐文章于 2024-04-19 09:36:40 发布
阅读量3.6k 收藏 3
点赞数 1
分类专栏： 爬虫学习 文章标签： python 爬虫 redis 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40743639/article/details/123611458
版权

免费代理池的搭建

参考资料：Python3 网络爬虫开发实战（第二版）

一. 学习目标 ：

参考《第9章 代理的使用》9.2节搭建自己私有的代理IP池。

二. 实验环境：

阿里云或腾讯云的服务器，我是在打折和新用户优惠的时候入手的，比较便宜，均是入门级配置的服务器，阿里云99元一年，1核2G，100G硬盘，腾讯云222元3年，2核4G，80G硬盘，但每月有1200G流量限制。阿里云的系统镜像为Centos7.9，腾讯云的系统镜像为Centos7.6

三. 免费代理池搭建

3.1 步骤说明：

  1. 购买阿里云或腾讯云服务器，选择Centos7系统镜像。
  2. 使用SSH工具远程登入到你购买的服务器。
  3. 安装Anaconda Python环境：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2021.05-Linux-x86_64.sh
  4. 安装Redis数据库：http://download.redis.io/releases/redis-3.0.5.tar.gz
  5. 下载崔老师的ProxyPool项目代码：https://github.com/Python3WebSpider/ProxyPool
  6. 参考ProxyPool项目的README.md运行项目

前两步就省略了，如果有问题可以留言。

3.2 安装Anaconda Python环境

参考链接：https://zhuanlan.zhihu.com/p/64930395，下面就只列具体操作，关于命令的解释可完全参考该网址中的内容。

3.2.1 下载Anaconda

直接在官网下载挺慢的，建议使用清华镜像（可以把pip的源也换成国内的，pip install也会快很多）：Tsinghua Open Source Mirror

[root@VM-4-17-centos ~]# wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2021.05-Linux-x86_64.sh
3.2.2 安装Anaconda
[root@VM-4-17-centos ~]# bash Anaconda3-2021.05-Linux-x86_64.sh

一路按回车，遇到 license 就输入yes

Do you accept the license terms? [yes|no]
[no] >>> 
Please answer 'yes' or 'no':
>>> yes

之后会指定目录安装，我选择的是默认路径安装，直接按回车即可

Anaconda3 will now be installed into this location:
/root/anaconda3

  - Press ENTER to confirm the location
  - Press CTRL-C to abort the installation
  - Or specify a different location below

[/root/anaconda3] >>>

提示是否要初始化Anaconda环境，我选择的是

Do you wish the installer to initialize Anaconda3
by running conda init? [yes|no]
[no] >>>

看到如下提示则安装成功：

Thank you for installing Anaconda3!

===========================================================================

Anaconda and JetBrains are working together to bring you Anaconda-powered
environments tightly integrated in the PyCharm IDE.

PyCharm for Anaconda is available at:
https://www.anaconda.com/pycharm
3.2.3 配置环境变量

打开profile文件

vi /etc/profile

在文件最后加入如下语句（路径需要根据自己的安装位置更改）：

PATH=$PATH:/root/anaconda3/bin
export PATH
3.2.4 重启服务器

重启后看到命令行前面有（base）证明Anaconda安装成功

(base) [root@VM-4-17-centos ~]#

3.3 安装redis

参考链接：https://www.cnblogs.com/zuidongfeng/p/8032505.html

3.3.1 下载源码&解压
(base) [root@VM-4-17-centos ~]# wget http://download.redis.io/releases/redis-3.0.5.tar.gz
3.3.2 编译&安装
(base) [root@VM-4-17-centos ~]# tar xvf redis-3.0.5.tar.gz
(base) [root@VM-4-17-centos ~]# cd redis-3.0.5/
(base) [root@VM-4-17-centos redis-3.0.5]# make MALLOC=libc
(base) [root@VM-4-17-centos redis-3.0.5]# cd src && make install
3.3.3 启动redis服务

刚安装完，启动下试试

(base) [root@VM-4-17-centos src]# ./redis-server
13193:C 20 Mar 09:16:59.524 # Warning: no config file specified, using the default config. In order to specify a config file use ./redis-server /path/to/redis.conf
                _._
           _.-``__ ''-._
      _.-``    `.  `_.  ''-._           Redis 3.0.5 (00000000/0) 64 bit
  .-`` .-```.  ```\/    _.,_ ''-._
 (    '      ,       .-`  | `,    )     Running in standalone mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 6379
 |    `-._   `._    /     _.-'    |     PID: 13193
  `-._    `-._  `-./  _.-'    _.-'
 |`-._`-._    `-.__.-'    _.-'_.-'|
 |    `-._`-._        _.-'_.-'    |           http://redis.io
  `-._    `-._`-.__.-'_.-'    _.-'
 |`-._`-._    `-.__.-'    _.-'_.-'|
 |    `-._`-._        _.-'_.-'    |
  `-._    `-._`-.__.-'_.-'    _.-'
      `-._    `-.__.-'    _.-'
          `-._        _.-'
              `-.__.-'

这是在前台启动，不方便，ctrl+c终止，换成后台运行

# 设置为后台运行
(base) [root@VM-4-17-centos src]# cd ..
(base) [root@VM-4-17-centos redis-3.0.5]# vi redis.conf
# 将 daemonize no 修改为 daemonize yes
(base) [root@VM-4-17-centos redis-3.0.5]# ./src/redis-server ./redis.conf
# 查看 redis 进程是否启动
(base) [root@VM-4-17-centos redis-3.0.5]# ps aux | grep redis
root     13790  0.0  0.0 131396  1864 ?        Ssl  09:21   0:00 ./src/redis-server *:6379
root     13807  0.0  0.0 112812   980 pts/2    S+   09:21   0:00 grep --color=auto redis
# 关闭 13790 进程
(base) [root@VM-4-17-centos redis-3.0.5]# kill 13790

这是手动开启redis服务，依然不方便，设置为开机自启服务

# 设置开机自启
(base) [root@VM-4-17-centos redis-3.0.5]# mkdir /etc/redis
(base) [root@VM-4-17-centos redis-3.0.5]# cp ./redis.conf /etc/redis/6379.conf
(base) [root@VM-4-17-centos redis-3.0.5]# cp ./utils/redis_init_script /etc/init.d/redisd
(base) [root@VM-4-17-centos redis-3.0.5]# vi /etc/init.d/redisd
# 头部加入两行，意思是，redis服务必须在运行级2，3，4，5下被启动或关闭，启动的优先级是90，关闭的优先级是10。
# chkconfig:   2345 90 10
# description:  Redis is a persistent key-value database
(base) [root@VM-4-17-centos redis-3.0.5]# service redisd start
Starting Redis server...
(base) [root@VM-4-17-centos redis-3.0.5]# ps aux | grep redis
root     15326  0.0  0.0  27700  1876 ?        Ssl  09:31   0:00 /usr/local/bin/redis-server *:6379
root     15330  0.0  0.0 112812   976 pts/2    S+   09:31   0:00 grep --color=auto redis

只做到这还不行，还得参考 https://blog.csdn.net/qq_40606798/article/details/82286273 链接中的方法三

# 修改 /etc/rc.d/rc.local 这个文件，末尾添加 service redisd start
(base) [root@VM-4-17-centos redis-3.0.5]# vi /etc/rc.d/rc.local
# 保存退出，确保/etc/rc.d/rc.local文件有执行权限
# 重启服务器，检查 redis 是否自动开启

**很重要：**这里建议把 /etc/rc.d/rc.local 备份一下，因为后面的步骤可能会清空这个文件，执行下面命令

(base) [root@VM-4-17-centos redis-3.0.5]# cp /etc/rc.d/rc.local /etc/rc.d/rc.local.bak

3.4 部署ProxyPool项目

3.4.1 下载ProxyPool项目源码
git clone https://github.com/Python3WebSpider/ProxyPool.git

README.md里要求执行这条git命令，但我执行了很多次都说连接不上git服务器，因此我是通过本地浏览器下载后通过FTP上传到服务器上的。

3.4.2 解压项目
(base) [root@VM-4-17-centos ~]# unzip ProxyPool-master.zip
(base) [root@VM-4-17-centos ~]# cd ProxyPool-master
3.4.3 运行项目

接下来的步骤就有点蠢了，原本项目文件里的requirements.txt文件可以一步完成这些步骤，但我这里直接执行这条命令

(base) [root@VM-4-17-centos ProxyPool-master]# pip install -r requirements.txt

发现会报错，因此我是通过多次启动项目，根据报错信息来安装缺少的依赖包，所有缺少的依赖包安装好后，项目就可以运行了。其中有的报错信息提示的依赖包和要安装的包名略有不同，如：fake_headers，实际安装的应该是 fake-headers

# 启动项目
(base) [root@VM-4-17-centos ProxyPool-master]# python run.py
# 看报错信息，安装依赖包，比如：
(base) [root@VM-4-17-centos ProxyPool-master]# pip install redis
(base) [root@VM-4-17-centos ProxyPool-master]# pip install environs
(base) [root@VM-4-17-centos ProxyPool-master]# pip install loguru
(base) [root@VM-4-17-centos ProxyPool-master]# pip install retrying
(base) [root@VM-4-17-centos ProxyPool-master]# pip install fake-headers
(base) [root@VM-4-17-centos ProxyPool-master]# pip install pyquery
(base) [root@VM-4-17-centos ProxyPool-master]# pip install aiohttp

当运行后不因为依赖包报错，并且输出大量日志信息时，说明项目成功运行起来了。

3.4.4 开启服务器5555和6379端口的访问

5555端口是ProxyPool项目的IP代理API接口，访问服务器公网IP的5555端口的/random路径即可获取一个筛选出来的可用免费代理IP。

6379端口是Redis数据库的默认端口，开启后可以通过RDM软件远程连接Redis数据库，检查当前数据库内的免费代理IP。

不同云服务器的端口开启方式不同，阿里云是安全组，腾讯云是防火墙。

下面是腾讯云设置后的样子

在这里插入图片描述

3.4.5 访问 /random 接口

在这里插入图片描述

看到这个画面就证明免费代理IP池已经运行起来了。

3.5 收尾工作

此时我重启了下服务器，并运行项目代码，但是发现Redis服务没有开启，奇怪，前面明明已经设置了开机自启Redis了，为什么现在又不行了呢？我检查了 /etc/rc.d/rc.local 文件，发现该文件被清空了，天啦噜，为了解决该问题，我又重新走了一遍上面的所有过程，并在3.3.3节的最后加入了备份该文件的操作，当再次发现该文件内容被清空时，只需要将之前备份的文件还原就可以了。

另外的python run.py命令会在SSH远程连接中断后，程序会停止运行

因此在项目目录下新建一个脚本文件 start.sh

(base) [root@VM-4-17-centos ProxyPool-master]# vi start.sh
nohup python run.py > log.txt 2>&1 &

保存后并执行

(base) [root@VM-4-17-centos ProxyPool-master]# chmod u+x start.sh

之后运行项目只需要执行命令，就可以了，并且所有的日志都会输出到 log.txt 文件中

# 启动程序
(base) [root@VM-4-17-centos ProxyPool-master]# ./start.sh
# 查看日志
(base) [root@VM-4-17-centos ProxyPool-master]# tail -f log.txt

保存后并执行

(base) [root@VM-4-17-centos ProxyPool-master]# chmod u+x start.sh

之后运行项目只需要执行命令，就可以了，并且所有的日志都会输出到 log.txt 文件中

# 启动程序
(base) [root@VM-4-17-centos ProxyPool-master]# ./start.sh
# 查看日志
(base) [root@VM-4-17-centos ProxyPool-master]# tail -f log.txt
一个小黑酱
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
阿里云 centos7 服务器搭建代理IP
YEYEYEYEFAN
04-30 6935
注意:开始前先去阿里云开放自己的端口,例如你是默认的3128,则去阿里云开启3128端口, 我使用的是3888端口,我开启的是3888端口 搭建服务器: 1、yum 安装 squid 和httpd-tools (-y 全自动安装) #更新yum yum update yum install squid -y yum install httpd-tools -y 2.生成密码文件 ...
Python爬虫代理池搭建的方法步骤
12-16
一、为什么要搭建爬虫代理池 在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制，即在某一时间段内，当某个ip的访问次数达到一定的阀值时，该ip就会被拉黑、在一段时间内禁止访问。 应对的方法有两种： 1. 降低爬虫的爬取频率，避免IP被限制访问，缺点显而易见：会大大降低爬取的效率。 2. 搭建一个IP代理池，使用不同的IP轮流进行爬取。 二、搭建思路 1、从代理网站(如：西刺代理、快代理、云代理、无忧代理)爬取代理IP； 2、验证代理IP的可用性（使用代理IP去请求指定URL，根据响应验证代理IP是否生效）； 3、将可用的代理IP保存到数据库； 常用代理网站：西刺代理 、云代理 、IP海
第七十九天 WAF攻防-漏洞发现&协议&代理池&Goby&AWVS&Xray
qq_46343633的博客
03-08 516
1、Http/s&Sock5协议2、Awvs Xray&Goby代理3、Pxoxifier进程代理使用4、Safedog&BT&Aliyun防护。
搭建爬虫代理服务器：使用云服务器
m0_56366541的博客
04-06 487
要获取真实的客户端 IP 地址，你需要处理由反向代理服务器（如Nginx）转发的请求头。通常，经过反向代理服务器的请求会在。代理服务器的作用是代替客户端向目标服务器发送请求，然后将目标服务器的响应返回给客户端。在网络中，代理服务器可以用来隐藏客户端的真实 IP 地址，或者用于访问某些受限制的内容，或者实现缓存、安全策略等功能。在这个示例中，请求被发送到代理服务器，然后由代理服务器转发到指定的 URL。请求头将包含一个或多个 IP 地址，以逗号分隔，第一个 IP 地址即为客户端的真实 IP 地址。
阿里云ip池配置尝试，Ubuntu系统
tenc1239的博客
01-25 328
单机多公网ip
解决登录阿布云代理池需要短信验证码问题
staramoon的博客
02-19 340
打开阿布云网站先手动登录，然后后续操作均在该打开的网站上进行即可。
CentOS7如何安装和配置Squid Proxy代理服务
chaishen10000的专栏
10-24 1782
代理服务器（Proxy Server）位于连个终端设备之间，充当一种中间设备。客户端C向服务器S发起资源请求，可以是一个文档，或者网页，请求先被发送到代理服务器P。然后代理服务器P发送该请求到目的服务器，并获取其资源。代理服务器的好处，是可以缓存资源。比如，有许多用户访问的网页，代理服务器将其内容缓存在本地，这样用户来访问的时候，代理服务器直接把内容就给返回了。代理服务器可用于安全校验，管理权限和缓存服务。
【proxy_pool搭建问题】多版本python、依赖Redis启动失败、No module named ‘click‘、proxyPool启动报错
05-14 4846
【proxy_Pools】搭建问题合集
centos搭建proxypool
qq_38162031的博客
01-22 1万+
centos搭建proxypool抓取免费节点
构建爬虫代理池
灰寨小学的python---小陈
08-07 452
proxypool proxypool是一个自动抓取免费代理并检测入库的程序，并提供开放的实时API服务:proxypool-open-WebAPI 欢迎Star／Fork 使用 本项目采用python3进行开发，建议使用virtualenv # 下载源码 git clone https://github.com/SimpleBrightMan/proxypool.git cd prox...
代理池搭建教程
腹黑的乌鸡
01-03 1万+
代理池搭建教程
【python网络爬虫】-构建免费代理池
11-07
【python网络爬虫】-构建免费代理池 # 导入requests模块 import requests # 从bs4中导入BeautifulSoup模块 from bs4 import BeautifulSoup # 定义获取代理地址的方法 def get_proxy(pages, ua): # 定义proxy_ips...
Python3爬虫关于代理池的维护详解
12-17
我们在上一节了解了代理的设置方法，利用代理我们可以解决目标网站封 IP 的问题，而在网上又有大量公开的免费代理，其中有一部分可以拿来使用，或者我们也可以...所以本节我们来搭建一个高效易用的代理池。 1. 准备工作
python编写的爬虫代理ip池.zip
03-03
python编写的爬虫代理ip池.zip 运行环境 python3 和mysql数据库 下载使用 下载源码 git clone .git 或者在下载zip文件 安装依赖 pip install -i https://pypi.douban.com/simple/ -r requments.txt 创建数据库 ...
WAF攻防-漏洞发现&协议&代理池&Goby&Awvs&Xray
最新发布
siu~
04-19 893
1、Http/s&Sock5协议 2、Awvs&Xray&Goby代理 3、Proxifier进程代理使用 4、Safedog&BT&Aliyun防护
爬虫项目————IP代理池监控维护器
weixin_41460135的博客
08-15 476
文章目录IP代理池监控维护器项目简介（readme）项目名称项目背景项目需求项目技术细节爬虫模块（spider）模块内容代码实现结果演示工具模块（utils）模块内容代码实现数据库模块（db）模块功能代码实现定时模块（scheduler）模块功能代码实现过滤代理池模块（ProxyPoolFilter）模块功能代码实现报警模块（error）模块功能代码实现获取代理模块（get_proxy）模块功能代...
代理池搭建
Codeoooo 博客
06-14 1544
本地单进程测试 push回传 平均120/s , pull调用代理平均120/s >> 测试为负载均衡+随机先进先出。排序3683个代理ip，排序需要2.5s ，500个代理ip排序需要 0.2s。redis库内（300个ip，调用400次，后100为固定蚂蚁代理。去重 >> 最短时延 >> 最小状态码 >> result。回传ip , 3683个需要30s ， 平均122/s。总结：回传和调用ip，单线程 保守均值 100/s。用于 获取先进先出（随机） 获取。响应数据: 同上。
免费搭建ip代理池的保姆级方法（最详细最有效）
热门推荐
newxiaoou的博客
01-06 9万+
免费搭建ip代理池的保姆级方法（最详细最有效）
免费代理池（proxy_pool）搭建教程
qq_53742230的博客
03-04 3万+
简介： 让我们先了解一下proxy_pool这个项目： 在我们写爬虫的时候，有时候会遇到限制IP访问速度的，这样就严重的影响了我们程序的运行， 而想解决限制就不得不去使用代理，网上的代理价格不一，让许多老铁望而生畏，这个时候这个免费的代理池就应运而生了。 让一众多喜欢白嫖的老铁欣喜若狂，可是在网上关于这个项目怎么搭建的文档确比较少，这个时候我就应运而生了。 我们先了解一下，这个项目需要使用到 redis数据库以及python，思来想去我决定利用我电脑上的VM虚拟机中的deepin Linux系
centos7 安装mysql_config_editor
06-09
要安装`mysql_config_editor`，需要安装`MySQL`客户端程序包。在`CentOS 7`上，可以使用以下命令安装： ``` sudo yum install mysql-community-client ``` 安装完成后，您应该可以在命令行中使用`mysql_config_editor`命令了。如果您仍然无法找到此命令，请确保`mysql-community-client`程序包已正确安装，并检查您的系统路径是否包含`MySQL`客户端程序包的安装路径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值