![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
安木1991
这个作者很懒,什么都没留下…
展开
-
数据抽取工具调研
数据抽取简述数据抽取是从数据源中抽取数据的过程。实际应用中,数据源较多采用的是关系数据库。从数据库中抽取数据一般有以下几种方式。(1)全量抽取全量抽取类似于数据迁移或数据复制,它将数据源中的表或视图的数据原封不动的从数据库中抽取出来,并转换成自己的ETL工具可以识别的格式。全量抽取比较简单。(2)增量抽取增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中...原创 2019-10-13 18:50:31 · 1169 阅读 · 0 评论 -
spark 通过 jdbc 写入 clickhouse 需要注意的点
最近在用 spark 通过 jdbc 写入 clickhouse 的时候,遇到一些坑,这里分享下,造福人民群众。一个 WARNWARN JdbcUtils: Requested isolation level 1, but transactions are unsupported这是因为 clickhouse 不支持事务造成的,解决方案,jdbc 加入 isolationLevel 等于 ...原创 2019-07-30 10:25:10 · 3070 阅读 · 0 评论 -
superset nginx 反向代理配置遇到的一个小问题
在用 nginx 配置 superset 反向代理,并且使用 map 通过 cookie 分流的时候,遇到十分诡异的问题,访问主页的时候总是被重定向到 upstream 同名的域名 upstream release { server 127.0.0.1:8088 weight=1 max_fails=1 fail_timeout=30s; } upstre...原创 2019-09-15 20:58:55 · 1021 阅读 · 0 评论 -
Airflow 在 python operator 下如何使用execution_date变量
Airflow 在 python operator 下如何使用execution_date变量呢?不复杂,但是要跳出宏变量的圈,不要老想着用下面这种宏实现就行了thedate = '{{(execution_date - macros.timedelta(days=1)).strftime("%Y-%m-%d")}}'在 python operator 下,用如下代码def example...原创 2019-09-17 22:46:19 · 3520 阅读 · 0 评论