『亚马逊云科技产品测评』活动征文｜ 基于Lightsail 使用 feapder 实现批次爬虫

授权声明：本篇文章授权活动官方亚马逊云科技文章转发、改写权，包括不限于在 Developer Centre, 知乎，自媒体平台，第三方开发者媒体等亚马逊云科技官方渠道

前言

最近一直在研究python的feapder框架，前段时间用feapder框架实现了每隔一个小时爬取一些网站的热搜榜，之前一直是运行在本地的。刚好前段时间注册了AWS账号可以白嫖了3个月的Lightsail，所以准备把这个迁移到线上去。

接下来就和大家分享下从环境搭建和项目开发的过程。

准备服务器

如果你之前没有注册过AWS的话，你也可以去注册一个账号白嫖这些免费的服务器

登录Aws，在搜索框中搜索 Lightsail，进入Lightsail控制台

Lightsail创建实例是非常简单的，它简化了在AWS云平台上部署和管理虚拟租户的过程。我们一般只需要选择操作系统和实例配置，点击创建之后就可以创建一个实例。

创建实例：

• 选择系统镜像
  这里有常用的Linux发行版和Windows系统。

  你可以选择你自己比较熟悉的系统，我这里选择的是Amazon Linux 2023

• 选择系统配置
  这里前三个计划对新用户可以免费使用三个月，你可以任选其中一个就行。我这里选择 2核 2G的
  

选择好这些内容，我们点击创建实例就可以轻松的创建一个实例了。

搭建爬虫系统项目

安装python、mysql、redis

• python

# 安装python
yum install python  python-pip -y
# 查看python版本
python --version

• redis

# 安装redis
yum install redis

修改配置文件 redis.conf
daemonize no 修改为 daemonize yes 启动守护进程
requirepass 设置密码访问，默认密码是注释掉的

启动redis

systemctl start redis

• mysql

# 安装mariadb
yum install mariadb105-server
<