centos miniconda3 环境下使用crontab定时运行scrapy脚本失败

最新推荐文章于 2022-08-11 11:49:54 发布

大琦想要去拯救世界

最新推荐文章于 2022-08-11 11:49:54 发布

阅读量244

点赞数 1

本文链接：https://blog.csdn.net/qq_41387609/article/details/116781013

版权

crontab Scrapy 软链接环境变量 Python路径

关键词由CSDN通过智能技术生成

问题：
使用crontab定时启动scrapy有启动日志，显示

sh:未找到命令scrapy

run.py中使用的是os.system启动的，在/usr/bin下没有。
解决：
建立scrapy的软连接

查找python地址

whereis python

找到miniconda3下的bin

cd /usr/bin

建立软连接

ln -s /root/miniconda3/bin scrapy /usr/bin/scrapy

加环境变量也可能解决这个问题

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

大琦想要去拯救世界

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【网络教程】shell命令/shell脚本访问url/echo命令的使用方法

XiaoqiangClub的博客

03-08

4898

文章目录shell脚本访问urlshell常用命令echo命令 shell脚本访问url 很多时候我们需要定时自动去访问一个脚本，当然我们可以直接使用crontab配合curl实现；但是有时候我们可能会需要·shell脚本`来实现，这边就直接给大家分享一个实例脚本，仅供参考 #!/bin/bash while [ true ]; do # 循环执行 /bin/sleep 5 curl "h...

通过ftp在Centos6和Centos7上搭建yum仓库

yonggeit的博客

04-20

3525

yum网络仓库的搭建　CentOＳ7yum -y install vsftpd systemctl start vsftpd [318][root@liyong: yum.repos.d]# systemctl enable vsftpdiptables -F systemctl stop firewalld.service systemctl disable firewalld.service r

参与评论您还未登录，请先登录后发表或查看评论

linux下的crontab定时任务进入conda虚拟环境(纠错篇)

qq_41509057的博客

04-22

938

先说方法： * * * * * source ~/miniconda3/bin/activate name && sh test.sh 现在conda在crontab上读取会报错，告诉你需要conda init 所以要用source 其次crontab里面需要使用绝对路径(activate 是个文件，所以也需要绝对路径)，查看路径的方法 which activate 当然也可以如下方法 * * * * * cd ~/miniconda3/bin && source act

scrapy使用crontab定时任务不能自动执行的调试

weixin_30496751的博客

05-20

179

在用crontab进行定时任务时，发现任务并没有执行。而手动bash yourshell.sh时可以正常的执行程序。以下是个人的解决流程。一、将错误打印打out.log */10 * * * * bash yourshell.sh >> /tmp/out.log 2>&1 二、查看out.log发现并没有出错。那么一般是shell脚本环境变量的问题。 expor...

在crontab中执行scrapy（解决不执行，不爬取数据的问题）

glovenone的专栏

08-11

476

scrapy在crontab（计划任务）中不执行，不爬取，无数据的问题

安装scrapy问题:-bash:scrapy:command not found

weixin_34120274的博客

07-12

735

但是可以import,于是添加python3.5到环境变量,搞定 export PATH=$PATH:/usr/local/python3.5/bin/ 转载于:https://www.cnblogs.com/Skrillex/p/7155805.html

【实现一套爬虫数据抓取平台】[3-3-02] CentOS 设置定时任务/计划任务

热门推荐

Bottle's Blog

03-17

1万+

文章目录0、系列目录1、应用场景2、周期性任务 - crontab安装 crontab创建任务参数解释其他命令3、一次性任务 - at安装 at创建任务查看任务删除任务时间参数4、总结 0、系列目录写这套文章的时候，不会完全按照目录的顺序一篇一篇写，大家可以到目录中直接找到对应的章节进行查看。点我跳转 1、应用场景实际生产中，总有一些任务需要定时执行：定期清理日志定期执行备份定期检测服务是否正常实现的方式也有很多种，可以自己写服务来监测、可以使用 pm2。我们今天介绍两个最简单、最基础

linux设置定时任务不自动执行脚本,crontab的定时任务不能自动执行，但是手动执行脚本一直能成功...

weixin_34305716的博客

05-13

1170

crontab 问题小记：环境变量问题，养成良好的习惯，在脚本开头export PATH原因是 crontab 执行定时任务时，用的不是系统环境变量，而是自己的环境变量，可以把 echo $PATH 加入crontab 输出到日志中查看所以一些自己写的工具，或是系统命令，执行的时候写绝对路径，或是简单点脚本开头加载 . /etc/profile-------------------更新----...

crontab定时任务执行Scrapyd爬虫以及日志查看

花臂不花Home

10-20

2223

crontab系统自带的调度命令，通过crontab命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。

linux系统下scrapy爬虫自动筛选代理IP

aresartemis的专栏

10-06

1056

爬虫往往要用到多个IP切换。而各代理网站的免费IP大多数都是无效的。一个个手工试是不可能的任务，我们就用爬虫来爬，并设置定时任务自动调度执行。文中的工程采用scrapy来写爬虫，使用scrapy_proxies调度使用获取到的IP(用法详见链接中的说明)，定义了crawlall的命令来同时执行所有的爬虫。完整代码：https://github.com/dodolo-cc/proxy

crontab设置定时任务运行指定版本python程序

yaologos的博客

01-21

771

crontab设置定时任务运行指定版本python程序 1、通常情况 conda activate env_name python -u main.py 通常先进入conda环境，然后运行python程序，此时使用的是该环境下的python 2、定时任务先写一个shell脚本task.sh，shell脚本中使用source激活环境，由于activate没有设置环境变量，因此使用绝对路径，可以修改路径，然后输入环境名称env_name，就能激活特定环境，然后执行python脚本即可 source ~/m

scrapy 中crontab 的脚本的坑

start2016的博客

08-24

1058

scrapy 中crontab 的脚本的坑： 1，我创建了一个py文件。里面放入了scrpy执行命令。 crontab 第一次编写： /root/.virtualenvs/py3/bin/python /mydata/data_statistics_and_mining/statistics/run.py >> /mydata/logs/run_$(date +\%F_\%H_\...

Centos下定时执行python脚本(在虚拟环境下)

qq_45510671的博客

05-06

458

编写shell脚本 vim run.sh #!/bin/bash export PATH=$PATH:/usr/bin echo -n '开始' source /root/.virtualenvs/pscrapy/bin/activate pscrapy (路径是当前python的路径) cd /work/policy && scrapy crawl gov_place echo -n '结束' 编写定时任务 crontab -e 10 1 * * * /wo..

linux下，用crontab定时执行scrapy任务

u012745777的博客

07-29

7656

之前尝试过很多方法用crontab执行scrapy的爬虫任务，但是都没出成功，总结下来有两点错误与相应的解决方法： 1、手动执行时，在工程目录下输入scrapy crawl xxx就可以执行爬虫脚本了，但是用crontab时，如果直接在crontab -e中输入00 00 * * * scrapy crawl xxx，定时任务是不会生效的，因为我们不知道crontab执行时，其所处的目录，很有可

linux scrapy 定时任务_scrapy 定时执行的两种方法

weixin_29783407的博客

01-17

259

# -*- coding: utf-8 -*-import subprocess, schedule, time, datetime, loggingfrom multiprocessing import Processfrom scrapy import cmdlinedef crawl_work():print("I'm working...")## cmd...

centos7中scrapy运行环境配置

nt1988year的专栏

06-21

340

最近根据需要，使用scrapy开发了一个爬虫应用，直接使用的python2，记录一下部署环境。 1.安装epel扩展源 yum -y install epel-release 2.安装pip yum -y install python-pip 3.安装scrapy pip install scrapy 阿里云镜像：pip install scrapy-i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyu..

centos7运行scrapy爬虫

weixin_30527423的博客

06-05

692

1.安装epel扩展源 yum -y install epel-release 2.安装pip yum -y install python-pip 3.安装scrapy pip install scrapy 4.若出现 command 'gcc' failed with exit status 1，gcc编译缺少模块 yum install gcc libffi-...

crontab定时任务

weixin_41868417的博客

05-10

729

在Linux系统环境中,使用crontab设置定时任务 * * * * * command(s) ^ ^ ^ ^ ^ | | | | | allowed values | | | | | ------- | | | | ----- Day of week (0 - 7) (Sunday=0 or 7) | | | ------- Month (1 - 12) | | --------- Day of month (1 - 31) | ----------- Hour (0 - 23) ---

Linux下使用crontab定时激活conda虚拟python环境

lianggx6的博客

02-27

4871

今天需要弄一个linux下的定时任务，考虑到用crontab去写，但是遇到很多问题，主要就是怎样在crontab的定时脚本中激活conda的环境，至于为什么这样做，接下来介绍一下背景我们要运行的python脚本事先用setup打包成了一个包，然后利用click库，将要运行的函数添加到了命令行。也就是说，只要我安装了这个包，只需要运行一条我们规定的shell命令就好了，就不需要额外其他的p...

centos7 crontab 定时执行python脚本详细流程