![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
StreamSets
文章平均质量分 90
青山孤客
网易高级服务端开发工程师,软件设计师,信息系统项目管理师,杭州市E类人才。杭州电子科技大学工学硕士,曾访学圣彼得堡国立信息技术机械与光学大学(ITMO),在国际计算机软件和应用会议(COMPSAC)发表1篇学术论文,目前已申请国家发明专利4项,2项软件著作权。兴趣是数据开发、后端开发、信息系统项目管理等。
展开
-
使用Streamsets将MySQL的数据同步到Rabbitmq生产者中
之前一篇博客记录了将Oracle的数据实时同步到MySQL中,因为项目需要,将多个数据源的数据先集成到统一的MySQL数据库中,然后再将这些数据传输到Rabbitmq中,最后经过Spark传输到HBASE中。之前也考虑过将这些绘制到一个管道中,最后因为Rabbitmq我并没有找到可以作为中间的过程的组件,只能拆分成两个管道,这篇就记录一下将MySQL中的数据传输到Rabbitmq Producer中。1、首先绘制整个的管道2、配置MySQL Binary Log参数A、配置MySQL Bin原创 2021-01-11 21:56:51 · 758 阅读 · 1 评论 -
使用Streamsets将Oracle数据实时同步到MySQL中
相关环境:Oracle 11g:11.2.0.1.0MySQL:8.0.22前期准备:1、打开Oracle的logminera.在SQL Shell中,以具有DBA的用户身份登录数据库:sqlplus /nolog;conn / as sysdba;b.检查数据库日志记录模式:select log_mode from v$database;如果查询结果是ARCHIVELOG,则以下操作都不用执行,如果命令返回NOARCHIVELOG,请继续执行以下步骤:c..原创 2020-12-30 22:13:47 · 4721 阅读 · 8 评论 -
LDAP理解入门
LDAP入门首先要先理解什么是LDAP,当时我看了很多解释,也是云里雾里,弄不清楚。在这里给大家稍微捋一捋。 首先LDAP是一种通讯协议,LDAP支持TCP/IP。协议就是标准,并且是抽象的。在这套标准下,AD(Active Directory)是微软出的一套实现。 那AD是什么呢?暂且把它理解成是个数据库。也有很多人直接把LDAP说成数据库(可以把LDAP理解成存储数据的数据库)。像是其他数据库一样,LDAP也是有client端和server端。server端是用来存放资源,client端用来操作转载 2020-12-04 17:01:47 · 438 阅读 · 0 评论 -
使用StreamSets将Oracle中的数据实时传输到Hbase
这次的测试是失败了的,有这个需求的小伙伴可以参考一下。主要原因可能是因为要测试的是Oracle 10g的数据库,所以一些StreamSets支持的参数变化的比较大。但是过程可以参考一下,一直到最后的验证其实都没有问题了。1、打开StreamSets管理界面在CDH中进入StreamSets的管理界面,点击WebUI:获取到打开StreamSets界面的格式与端口号: http://192.168.129.***:186302、创建一个新的管道填写新建管道的一些信息..原创 2020-08-19 10:19:50 · 1359 阅读 · 1 评论 -
StreamSets中配置外部库,解决上传jar包时报REST_1003 - Failed to create directory错误
遇到的问题今天在添加Oracle Database 的JDBC驱动程序包ojdbc.jar时,这里如果直接进行上传jar包则会报错,REST_1003 - Failed to create directory: lib:解决步骤:说明需要配置streamsets外部库,具体步骤如下A、B、C、D。A、进入到STREAMSETS_DATACOLLECTOR安装的路径一般路径为:/opt/cloudera/parcels/STREAMSETS_DATACOLLECTORB、.原创 2020-08-14 16:43:08 · 1405 阅读 · 0 评论 -
StreamSets中测试Pipeline时,报 .....metadata for topic ‘topicName‘ from broker ‘localhost:9092‘ 问题解决
今天在绘制Oracle数据库中数据导出到HBASE的管道时,验证测试时失败,一直弹出报错:2020-08-13 03:46:40,626 test_Oracle/testOracle20094215-4e64-431d-8ffd-7ba20f11706e WARN [Consumer clientId=consumer-15, groupId=sdcTopicMetadataClient] Connection to node -1 could not be established. ...原创 2020-08-13 18:35:38 · 825 阅读 · 0 评论 -
CDH中安装StreamSets 以及遇到的坑与解决
今天总结一下安装的StreamSets的全过程,并且中间遇到的问题与解决办法。一、下载StreamSets相关文件首先看Cloudera Manager server是否可以访问Internet获取这个Parcel,如果不行则需要手动安装文件。可以看到我本地这里就不能通过远程提供自己下载:手动安装StreamSets Parcel和校验文件,如果使用多个集群时,就需要对每个集群执行以下步骤。1、从下面这个链接下载适用于Cloudera Manager Server操作系统的相关文件h原创 2020-08-03 20:00:36 · 2074 阅读 · 1 评论