2018年07月_工程师WWW

10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载定时任务框架APScheduler学习详解

在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的，虽然这样也可以，但是总觉得不是那么的专业，^_^所以就找到了python的定时任务模块APScheduler： APScheduler...

2018-07-30 15:22:55 1803

转载 Python KafkaProducer and KafkaConsumer的开发模块

1.在python中往kakfa写数据和读取数据,使用的是python-kafka库 2.消费者需持续写入数据，因groupid存在偏移量，才能看看到数据。 3.安装库的命令为pip install python-kafka -i https://pypi.douban.com/simple 4.其中返回的message为一个生成器，其中元素的type为<class 'kafka.co...

2018-07-26 14:36:29 19822

转载 kafka的安装及使用

先来说下kafka是个什么东西，它是一个消息中间件框架，只负责发布--订阅（帮忙存东西的）接着给大家看一张大致的kafka流程图首先打个比方，kafka好比就是中央电视台，而中央电视台下面有很多节目，生产者就是制作节目的团队，而消费者就是我们观看这个节目的人，一开始在zookeeper创建一个节目，假设就叫cctv1，有了这个节目名后，我们就得请一个团队来填...

2018-07-26 14:25:32 465