![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 60
xufwind
这个作者很懒,什么都没留下…
展开
-
streamsets任务批量管理尝试
使用 streamsets 处理导数据,可以做到在页面拖拉拽创建一个pipeline,就能打通数据通道在需要接入的业务系统很多的情况下,我们就会创建很多的pipeline,用来导数据在大量使用全量导入,做T+1数据的情况下,如何管理 streamsets 各个导数据的pipeline的执行会是个比较重要的问题在此尝试了两种方式来管理 streamsets pipeline 的批量执行方式一: 使用python直接调streamsets API 的方式思路简介将需要按时调用的pipeline.原创 2022-01-11 15:39:57 · 699 阅读 · 0 评论 -
hive 集群内复制数据库
引子工作中碰到几个外部项目使用相同数据库结构和基础数据的数据库为了每个项目的数据独立性可复制数据库出来给每个项目单独操作使用非导出的方式在hive集群内复制数据库创建数据库create database if not exists new_db_name;编写建表语句,表比较多的可以将表名全部拿出来后使用shell或python处理成创建表的文本use new_db_name;create table table_name like old_db_name.table_name;复制原创 2021-07-13 10:52:55 · 685 阅读 · 0 评论