proxy_pool开源项目攻克学习2：服务器架设

proxy_pool开源项目攻克学习2：服务器架设

在这个文章proxy_pool开源项目攻克学习中，我们完成了本地的proxy_pool架设。现在我们将他转移到服务器上。

硬件环境准备

1. 腾讯centos服务器。

软件环境准备

1. redis
2. python3.7
3. proxy_pool开源项目

安装过程

总结安装Proxy_pool的顺序过程

• 准备环境
  python环境
  redis服务器

• 下载安装开源代码

• 安装开源代码的依赖

• 配置setting

• 启动proxy_pool

step1. 准备环境

redis安装在centos上使用

yum install redis 

安装完成后，配置路径在

/etc/redis.conf

python安装参考linux环境下安装多个任意版本的python环境

step2. 安装proxy_pool开源代码

网址
https://github.com/jhao104/proxy_pool

git clone https://github.com/jhao104/proxy_pool.git
cd proxy_pool
pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
# 这里一定要升级一下flask，否则后续一定会报错
pip3 install Flask==2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple/

step3. 配置redis

配置

vim /etc/redis.conf

# 找到requirepass 去掉注释，设置密码
requirepass 123456
# 找到daemonize 去掉注释，改为yes，设置守护线程
daemonize yes

在Linux上，如果开了redis的守护进程，kill -9和redis-cli shutdown 命令是无法杀掉 redis 进程的 ，杀掉就会重新启动一个新的进程

最后在网上找到这个命令，可以杀掉redis的守护线程：
/etc/init.d/redis-server stop
启动和验证

# 若命令直接返回，说明守护线程已经开启
redis-server /etc/redis.conf

#测试， 返回PONG说明启动成功
redis-cli

127.0.0.1：6379 > auth 123456
127.0.0.1：6379 > ping
PONG

step4. 配置setting.py

HOST 不用改，PORT也可以不用改，这是你flask打开的默认地址，

数据库需要改一下，pwd改成你刚才设置的"123456"或者你自己设置的值。

端口改成6379。因为我们没有改redis-server的地址。

其他的不用动。然后再启动python脚本。

# setting.py 为项目配置文件

# 配置API服务

HOST = "0.0.0.0"               # IP
PORT = 5000                    # 监听端口


# 配置数据库

DB_CONN = 'redis://:pwd@127.0.0.1:8888/0'


# 配置 ProxyFetcher

PROXY_FETCHER = [
    "freeProxy01",      # 这里是启用的代理抓取方法名，所有fetch方法位于fetcher/proxyFetcher.py
    "freeProxy02",
    # ....
]

step5. 后台启动python脚本

nohup python -u proxyPool.py schedule > schedule.log 2>&1 &
nohup python -u proxyPool.py server > server.log 2>&1 &

ps -ef | grep python

这样以后就可以关闭终端，而保持进程在运行了。

step6. 问题与解决

python安装问题请参考linux环境下安装多个任意版本的python环境
开源项目问题或redis问题请参考proxy_pool开源项目攻克学习