luigi 模板

luigi doc

import os,sys
import luigi
import luigi.contrib.hdfs
from datetime import datetime, timedelta

class DummyTarget(luigi.Target):
    def __init__(self, exist):
        self.exist = exist

    def exists(self):
        return self.exist

class CrawlDataInput(luigi.ExternalTask):
    input_file=luigi.Parameter()
    def output(self):
        target = luigi.contrib.hdfs.HdfsTarget(self.input_file)
        if not  target.exists():
            return DummyTarget(False)
        return target

class CrawlParseBaseData(luigi.Task):
    version = luigi.Parameter()
    def requires(self):
        return CrawlDataInput(done_base_tag)
    def run(self):

    def output(self):
        target=luigi.contrib.hdfs.HdfsTarget(done_base_tag)
        return target 


class CrawlDataParserTask(luigi.Task):
    version = luigi.Parameter()
    def requires(self):
        return CrawlParseBaseData(version=self.version)
    def run(self):

    def output(self):
        target=luigi.contrib.hdfs.HdfsTarget(done_base_tag)
        return target 

if __name__ == '__main__':
       date_str = (datetime.now() - timedelta(2)).strftime('%Y%m%d')
       luigi.build([CrawlDataParserTask(version=date_str)])

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值