部署scrapy项目到腾讯云服务器，并操作爬虫

最新推荐文章于 2024-08-24 21:25:04 发布

正在努力学习的zz

最新推荐文章于 2024-08-24 21:25:04 发布

阅读量1.2k

点赞数

分类专栏： scrapy

本文链接：https://blog.csdn.net/u014775723/article/details/86669151

版权

本文详细介绍了如何在腾讯云服务器上部署Scrapy项目，包括购买服务器、安装scrapyd-client、设置mongodb数据库、配置安全组、启动scrapyd服务、部署爬虫以及远程操作爬虫的步骤，涉及Linux命令、安全组配置和MongoDB安装等关键环节。

摘要由CSDN通过智能技术生成

第一步：

在腾讯云购买服务器

第二步：

在本机下载scrapyd-client：

对于windows系统，建议不要用pip install scrapyd-client去安装scrapyd-client，会出现，scrapyd-deploy不是内部或外部命令，因为scrapyd-deploy不能被windows执行。应当直接去github上下载并解压安装包后，进入解压后的目录下，执行python setup.py install进行安装。

python setup.py install

若已经用pip安装了的，先卸载Scrapyd-client

pip list
pip uninstall scrapyd-client

第三步：

1.登陆远端服务器里面进行相应的python和相关库安装

# 安装相关库
yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
yum -y install gcc

# 下载python3.6安装包
wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tgz

# 创建一个文件夹
mkdir /usr/local/python3.6

# 解压安装包
tar -zxvf Python-3.6.8.tgz

# 进入解压后的目录
cd Python-3.6.8

# 配置，使安装路径为/usr/local/python3.6
./configure --prefix=/usr/local/python3.6

# 编译，测试，安装
make
make test
make install

# 添加环境变量
PATH=$PATH:$HOME/bin:/usr/local/python3.6/bin
echo $PATH

# 备份原来python和pip链接
# 创建软连接，使python和pip指向python3.6和pip