linux 运行scrapy,python 文件 运行 scrapy

写了一个scrapy,程序可以跑,没有任何问题。

爬下30个网站的body存入json文件,并且保存为test.json

如果test.json存在就保存到一个新建的test1.json

新建了一个python文件叫check.py,对比两个文件的hash值,如果有不一样,就发邮件到我邮箱。

在这个check.py内 有一句os.system(scrapy crawl xxxx)

问题来了。。 因为希望能定时运行,比如我在win上设置了定时执行计划,则每5分钟执行一次。这个是可以的。

有个问题和vps上一样,系统是centos 6。

比如随意在一个地方,用路径的方式打开这个check.py文件

python Documents/check_web/check.py

Scrapy 1.1.1 - no active project

Unknown command: crawl

Use "scrapy" to see available commands

0s

10s

Traceback (most recent call last):

File "Documents/check_web/check.py", line 35, in

f1 = open("./test.json", "rb")

IOError: [Errno 2] No such file or directory: './test.json'

check.py大致如下

def getJson():

os.system('scrapy crawl check_web_sprider')

time.sleep(10)

def getHash(f):

line = f.readline()

hash = hashlib.md5()

while (line):

hash.update(line)

line = f.readline()

return hash.hexdigest()

def IsHashEqual(f1, f2):

str1 = getHash(f1)

str2 = getHash(f2)

return str1 == str2

if __name__ == '__main__':

f1 = open("./test.json", "rb")

f2 = open("./test1.json", "rb")

if (IsHashEqual(f1, f2) is False):

def _format_addr(s):

name, addr = parseaddr(s)

return formataddr(( \

Header(name, 'utf-8').encode(), \

addr.encode('utf-8') if isinstance(addr, unicode) else addr))

求问为什么会这样。。路径的方式就会显示

Scrapy 1.1.1 - no active project

Unknown command: crawl

但是如果我进入到check.py的路径下 然后

python check.py

就没有任何问题。。爬虫也能正常工作。。

非常抱歉 文笔不太好 希望有人能看懂。。并且又知道如何解决。

thx!

bVCm1N

check.py是在scrapy的工程目录下的。。

bVCm2t

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值