部署scrapy爬虫到AWS Ubuntu 18.04，用crontab定时执行

最新推荐文章于 2024-08-20 14:22:48 发布
最新推荐文章于 2024-08-20 14:22:48 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： 爬虫 python Linux Ubuntu 云计算 文章标签： 爬虫 python crontab cron scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/juwikuang/article/details/88746380
版权
本文详细阐述了如何将Windows下的Scrapy爬虫部署到AWS Ubuntu 18.04服务器，并利用crontab进行定时执行。首先，介绍了申请AWS EC2 Ubuntu虚拟机的过程，包括设置Security Group。接着，讲解了安装Miniconda、Scrapy、MSSQL驱动等软件的步骤。然后，通过SCP将文件复制到Ubuntu服务器，并配置crontab以每小时运行一次爬虫。最后，讨论了crontab的使用和日志记录的方法。
摘要由CSDN通过智能技术生成

本文介绍了如何把windows下面的scrapy脚本部署到AWS Ubuntu上，并使用crontab定时执行。

我的scrapy爬虫原来部署在windows服务器，爬虫每个小时从几个字幕网站爬字幕。字幕文件（即文本文件保）存在本地，但是字幕的metadata保存在Azure Database上。除了python爬虫，我还有一个.net程序复制处理爬虫获取的数据。

申请AWS EC2 Ubuntu虚拟机

AWS不用翻墙就能使用，而且提供免费虚拟机。申请的时候，只需要注意Security Group就行了。
我申请的是Ubuntu Server 18.04
在这里插入图片描述

Security Group
Inbound使用默认值，即SSH-TCP-22。
Inbound使用默认值，即SSH-TCP-22
Outbound我加上了HTTP，HTTPS和MSSQL。
Outbound我加上了HTTP，HTTPS和MSSQL

安装各种软件

首先安装Miniconda
https://docs.conda.io/en/latest/miniconda.html

安装以后修改PATH

export PATH=~/anaconda3/bin:$PATH

然后推出exit，并重新连接。

然后安装scrapy

最低0.47元/天 解锁文章
织网者Eric
关注
专栏目录
spiderkeeper 管理scrapy爬虫（定时执行）
AI + 工程
02-16 1306
文章目录一、关于 spiderkeeper安装二、使用1、运行 spiderkeeper2、项目生成.egg文件3、启动 scrapyd三、管理项目1、访问管理界面2、创建项目3、上传刚生成的 egg 文件4、查看爬虫四、管理任务1、添加定时任务2、查看任务状态五、服务器部署1、单台服务器2、多台服务器六、更改用户名、密码、端口号1、config.py 更改用户名&密码2、run.py 更改端口号参考 一、关于 spiderkeeper Github: https://github.com/Dor
amazon_scrapy：使用scrapy获取亚马逊数据。 我们可以在数据科学中使用scrapy。 在此过程中，我们可以存储数据，并且可以分析数据以执行某些操作
02-16
amazon_scrapy 使用scrapy获取亚马逊数据
Ubuntu16.04下Scrapy环境的搭建
weixin_33719619的博客
10-24 288
一、Scrapy简介与部署环境 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的第三方爬虫框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通...
Crontab 教程 - 使用 AWS EC2 和 Python 的 VPS 简介
最新发布
sentdex的博客
08-20 282
Crontab 详解：用 Python 脚本实现定时任务 这段文字主要介绍了 Linux 系统中 Crontab 的使用，以及如何利用 Crontab 定时运行 Python 脚本。 Crontab 的基本概念： Crontab 是一个用于设置定时任务的工具，它允许用户在特定时间或间隔执行命令或脚本。 Crontab 使用五个星号来表示时间，分别对应分钟、小时、日期、月份和星期。 每个星号可以设...
Ubuntu部署scrapy框架---crontab部署
CSDNxiaozhi的博客
06-11 245
1、编写脚本 随便找一个位置创建.sh文件 为了方便，本文创建在项目的同级目录中 创建文件包 ：mkdir -- 文件名 创建文件： vim scrapy_sh scrapy_sh内容： export中启动虚拟环境 cd 进入到启动的scrapy项目中 scrapy crawl pythonPosition 为启动项目，一般为spiders文件中的对应的py文件，将.py去掉即为启动方法 >> 为重定向 pythonPosition.log 2>&1 这句就是将运行的日志
AWS的EC2上构建一个爬虫
康雨城
06-10 1104
在aws的EC2上构建一个爬虫
crontab定时启动scrapy爬虫
qq_41911048的博客
05-22 575
部署到测试环境，并设置定时启动任务 通过FileZille工具，将本地的文件上传到测试服务器上面的python文件夹中 在与spider同级目录下写一个shell脚本，启动所编辑的运行爬虫文件 vi run.sh 1 #! /bin/sh 2 export PATH=$PATH:/usr/local/bin 3 cd /data/project/python/...../run...
浅析python实现scrapy定时执行爬虫
09-20
定时执行爬虫是指在特定时间间隔或特定时间点自动运行爬虫程序，以实现周期性或定时的数据抓取。在Python环境下，利用Scrapy框架实现定时爬虫可以涉及多种方法，本篇文章将详细探讨这些方法。 首先，最简单的方法之...
完整版Python网络爬虫之Scrapy爬虫框架使用案例教程含源代码共18页.pdf
06-19
本教程将实际操作使用Python Scrapy框架爬取传智播客教师页面教师的个人信息。 爬取页面网址：http://www.itcast.cn/channel/teacher.shtml#ac Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于...
scrapy爬虫教程（一）–scrapy安装及生成项目
01-20
安装 在终端输入pip install，如果速度太慢指定国内镜像安装pip ...执行scrapy genspider 爬虫文件名 域名 如scrapy genspider lagou www.lagou.com，会在spiders文件夹中生成名为lagou.py的爬虫模板文件，该方式是
Ubuntu16.04Scrapy爬虫定时任务
weixin_30378311的博客
04-20 116
1、书写shell脚本 #!/bin/sh # 爬虫的目录 cd /home/x5456/SinaSpider # scrapy要使用绝对路径（不知道的话用which scrapy命令获取） /home/x5456/.local/bin/scrapy crawl sina（爬虫名） 2、使用crontab -e命令去编辑定时任务（第一次会让你选择使用的编辑器，最好选na...
Scrapy如何实现定时任务爬虫
G171104的博客
06-28 1174
Scrapy是基于Python开发的爬虫框架，可以通过Python的定时任务工具——APScheduler实现定时任务。scrapy是一种常用的爬虫框架，其提供了强大的功能和高效的处理能力。func参数指定要执行的爬虫任务，例如上面的示例中，将爬虫名称替换成自己的爬虫名称即可。在编写好爬虫文件后，按照Scrapy定时任务的实现步骤，在settings.py中配置任务和定时任务脚本即可。在以上代码中，我们引入了Scrapy定时任务的调度器，并在执行爬虫任务前启动调度器，执行完毕后关闭调度器。
scrapy AWS图片存储
笑笑布丁的博客
02-04 639
scrapy将爬取下来的图片存储到AWS 的 S3 bucket上. 一.在settings里面配置AWS 现有的scrapy还不支持boto3，只有boto，所以我加上了AWS这些参数. 二. 你需要改写 ImageDownloadPipeline类 1.其中会有几个方法比较重要，第一是 get_media_requests 请求下载图片方法，不改写的话维持默认 2. file_path， 意指...
ubuntu 18.04 按计划执行脚本
韩利巍
05-13 733
目录 ubuntu 18.04 按计划执行，设置步骤如下 1、配置crontab 文件 2、开启crontab 日志记录 3、测试是否生效 ubuntu 18.04 按计划执行，设置步骤如下 1、配置crontab 文件 命令：sudo vim /etc/crontab 设置好自己需要执行的脚本，或者文件时间，设置完成后保存。（为了测试，我这里设置的是每分钟执行一次脚本） 重启服务 命令：sudo service cron restart #重启...
Python Scrapy爬虫入门 - 使用Crontab实现Scrapy爬虫的定时执行
红星的专栏
05-25 4618
最近在做Python Scrapy框架搭建数据中心的项目，边做边学，手敲代码，现在spider已经可以采集数据了，但是还没有写定时执行的脚本。根据以前的工作经验，简单的任务可以使用Crontab来实现脚本的定时执行。不过因为工作的变动，而且当时对shell的了解也只是皮毛，还是出了点问题： crontab -e 添加一个最简单的计划任务： 0 */1 * * * cd /data/spid
crontab+scrapy+linux普通用户实现定时爬虫
weixin_41792971的博客
08-06 238
crontab+scrapy+linux普通用户实现定时爬虫 第一步：创建一个可执行的linux脚本，后缀为.sh vim /home/luochuangjie/test.sh(你自己的工作路径) 第二步：在test.sh里边编写脚本命令 #run spider /home/luochuangjie/anaconda3/bin/python3 /home/luochuangjie/test.py ...
python+ubuntu 怎么做自动定时爬虫
大海里的金鱼的博客
12-05 445
爬虫工程师在工作时，有时候需要做到定时爬虫，下面是代码写好之后，如何添加定时任务的过程（无论是requests还是scrapy框架爬虫，都可以使用） 1.在当前目录下增加一个可执行的脚本 requests在当前目录下， scrapy在配置文件scrapy.cfg目录下增加 脚本内容如下; 脚本内容如下; #!/bin/sh export PATH=$PATH:/home/python/.l...
记录配置python爬虫定时任务crontab所踩过的坑
热门推荐
猫咪不爱吃鱼鱼
07-03 2万+
在刚开始配置爬虫定时爬取的时候选取了较为简单的time.sleep()这个函数，可能由于环境配置的问题或者是不知道什么玄学的问题。并不能正常生成.csv数据文件。在换了几个方法后，最终决定采用crontab命令。 配置crontab的方法在网上都有很多写的很清楚。我在这也不做过多赘述。大家可以根据网上的教程来，如果遇见坑再来看我这篇文档会比较好。在文章最后也...
Linux(Ubuntu)上的定制定时任务Crontab
一叶孤舟YI的博客
10-22 414
1.Python模块导入的搜索路径在linux环境下应该全力去避免在路径中出现中文字符, 这可能会导致无法搜索到模块. 2.为Python添加模块加载路径的方法: `方法1:函数添加` import sys sys.path >>> sys.path.append("/home/ww/int&qu
怎么在dolphin上部署scrapy爬虫
04-05
在Dolphin上部署Scrapy爬虫，需要按照以下步骤进行操作： 1. 安装Python和Scrapy 首先需要在Dolphin上安装Python和Scrapy，可以使用以下命令进行安装： ``` sudo apt-get update sudo apt-get install python3-pip pip3 install scrapy ``` 2. 创建Scrapy项目 使用命令`scrapy startproject project_name`创建新的Scrapy项目，其中project_name是项目的名称。 ``` scrapy startproject myproject ``` 3. 编写Scrapy爬虫 根据自己的需求，编写Scrapy爬虫代码，保存在项目文件夹下的`spiders`文件夹中。 4. 配置Scrapy设置 在项目文件夹下的`settings.py`文件中，可以配置Scrapy的一些设置，例如下载延迟、User-Agent等。 5. 运行Scrapy爬虫 使用命令`scrapy crawl spider_name`运行Scrapy爬虫，其中spider_name是爬虫的名称。 ``` scrapy crawl myspider ``` 6. 导出数据 运行完毕后，可以使用命令将爬取到的数据导出到文件中，例如： ``` scrapy crawl myspider -o items.json ``` 以上就是在Dolphin上部署Scrapy爬虫的步骤，需要注意的是，如果需要爬取的网站需要登录才能访问，还需要在Scrapy中添加登录功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

织网者Eric

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值