Scrapy爬虫部署到云服务器

本文详细记录了如何将使用Scrapy构建的爬虫项目部署到腾讯云的CentOS 7.6服务器上,包括搭建Python3环境、创建虚拟环境、安装MongoDB、导入项目依赖以及设置后台运行的系统服务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

要把Scrapy写的爬虫项目部署到云服务器上,部署过程记录下来。

云服务器用的是腾讯云,没有特别的理由,用新人优惠买的,便宜。服务器配置是:CentOS 7.6 64位+1核+2GB+1Mbps。

主要有以下4个步骤:

1、在云服务器搭建Python3环境
yum 源准备:
sudo yum -y update
sudo yum -y install yum-utils
sudo yum -y groupinstall development
安装Python3:
sudo yum -y install epel-release
sudo yum -y install https://centos7.iuscommunity.org/ius-release.rpm
sudo yum -y install python36u
sudo yum -y install python36u-pip

检查安装情况:

python3.6 -V
pip3.6 -V

安装目录在:
\usr\bin\python3.6

添加软链接:
ln -s /usr/bin/python3.6 /usr/bin/python3
ln -s /usr/bin/pip3.6 /usr/bin/pip3
2、创建项目虚拟环境:
安装虚拟环境

安装

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值