streamSets
圈圈圈小明
这个作者很懒,什么都没留下…
展开
-
mysql同步到mysql(mysql binlog)
Default Operation:如果未设置sdc.operation.type记录标头属性,则执行的默认增删改操作。Unsupported Operation Handling :不支持在sdc.operation.type记录标头属性中定义的CRUD操作类型时要采取的操作:原创 2020-08-21 16:42:27 · 218 阅读 · 0 评论 -
StreamSets:Oracle CDC Client
参考https://www.jianshu.com/p/9c661d9dba86Oracle CDC Client 预备知识 在使用OCC Origin之前,请完成以下任务:(1)启用LogMiner(2)为数据库或表启用补充日志记录(3)创建具有所需角色和权限的用户帐户(4)若要在redo log中使用字典,请提取Log Miner字典(5)安装Oracle JDBC driver任务1:启用LogMiner LogMiner提供了用于汇总数据库活动的r...原创 2020-08-20 14:52:43 · 928 阅读 · 0 评论 -
StreamStets,上传扩展jar. 报错:REST_1003 - Failed to create directory: lib
问题:上传扩展jar.报错:REST_1003 - Failed to create directory: lib已经做的操作https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Configuration/ExternalLibs.html#concept_pdv_qlw_ft原创 2020-08-20 11:16:50 · 353 阅读 · 0 评论 -
安装完整版streamSets
背景安装了core版本,但是其他的包都不能在使用的时候正常安装,所以下载完整版。参考https://streamsets.com/documentation/datacollector/3.17.x/help/datacollector/UserGuide/Installation/FullInstall_ServiceStart.html#concept_e45_3dr_bxhttps://blog.csdn.net/macalzheng/article/details/105757679原创 2020-08-18 10:30:44 · 1875 阅读 · 1 评论 -
视图中的数据同步到其他数据库中的表
在新的数据库中创建一个和视图结构相同的表采用ezdw,反向导入视图,但是数据结构和新创建的表描述不同,生成会报错,手动修改字符类型的数据库字段配置streamSets源数据控件ry表的视图简单清洗是否选择字段ChooseFlag,如果是0,显示“未选择”,如果是1,显示“选择”目标数据控件collect库的risk表显示视图的数据ry表数据变化,目标表的数据也变化...原创 2020-08-15 20:28:55 · 3272 阅读 · 0 评论 -
第一个streamsets例子
主要介绍第一个工作流的创建、预览、启动过程,这条数据流将本地文件中的数据进行处理,最终将处理过的数据存放到本地磁盘上(streamsets 运行在CentOS7上)。原创 2020-08-14 15:11:29 · 304 阅读 · 0 评论 -
streamsets安装部署(core)、数据同步
一.安装部署下载wget --no-check-certificate https://archives.streamsets.com/datacollector/3.17.0/tarball/streamsets-datacollector-core-3.17.0.tgz解压解压到你想要的路径下:配置环境参数[maxiu@zhumei00 ~]$ sudo vi /etc/security/limits.conf添加下述内容(maxiu为用户名),该步骤需要重启 .原创 2020-08-12 15:28:39 · 905 阅读 · 2 评论 -
streamSets jdbc组件安装
已经安装的streamSets[root@localhost streamsets-datacollector-3.16.1]# bin/streamsets dcJava 1.8 detected; adding $SDC_JAVA8_OPTS of "-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djdk.nio.maxCachedBufferSize=262144" to $SDC_JAVA_OPTSWARN: Security is enabled a原创 2020-08-05 22:35:29 · 675 阅读 · 0 评论 -
给streamSets装jdbc,实现mysql数据库同步
启动streamSets(还没成功)[root@localhost ~]# docker run --restart on-failure -p 18630:18630 -d --name streamsets-dc streamsets/datacollector dcdocker: Error response from daemon: Conflict. The container name "/streamsets-dc" is already in use by container "原创 2020-08-08 10:47:56 · 1041 阅读 · 2 评论 -
streamStets(一)
StreamSets DC Edge安装与配置Docker方式安装Docker方式的安装比较简单,环境和默认配置已经在docker镜像中设置,当然安装前你的操作系统上已经安装了docker软件。(1)可以用以下命令启动Streamset DC:docker run --restart on-failure -p 18630:18630 -d --name streamsets-dc streamsets/datacollector dc(2)启动过后,要访问Data Collect..原创 2020-07-24 23:56:37 · 288 阅读 · 0 评论