![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
饺子热干面
这个作者很懒,什么都没留下…
展开
-
向clickhouse导数据报错:clickhouse_driver.errors.UnexpectedPacketFromServerError: Code: 102
今天用python写个etl从mysql向clickhouse同步数据, 数据量不到1千万,导了一会报上面的第错误。然后在网上查了一下:找到文档写得很清楚:Welcome to clickhouse-driver — clickhouse-driver 0.2.4 documentation原来clickhouse提供两个端口:8123和9000用native protocal需要使用9000端口,然后修改端口后成功。...原创 2022-03-24 20:47:36 · 3546 阅读 · 0 评论 -
apscheduler调度一个问题的解决
首先,apscheduler调度是python的一个功能强大还挺不错的一个调度框架。我是把他用在推荐引擎, 推荐引擎涉及到一些算法任务的调度,因此用到apscheduler.首先对问题描述一下。推荐引擎的调度还是很复杂的,存在前后依赖,但是apscheduler本身不支持任务的依赖,把这个交给更上层去实现。推荐引擎是个分布式系统,因此我用到zk作为认为协调。然后任务的依赖通过zk的状态,在每个任务开始前判断,等前面的算法认为都执行完成,再执行。在调度服务加了一个event_listene原创 2022-01-23 02:07:29 · 515 阅读 · 0 评论