- 博客(17)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Eclipse因lombok与jdk版本不对导致的building workspace死循环解决方法
windows环境eclipse2019-06版本，在导入工程后，死循环building workspace。开始以为是window环境的问题，因为同样的工程在自己的mac上跑得好好的。然后尝试了各种解决方法无果。突发奇想，曾经在mac上使用mvn编译工程时报错：由于jdk版本过高（jdk11），lombok版本为1.16版本，mvn编译不通过。会不会是windows的jdk版本与...
2019-09-11 00:31:16
1296
原创 flink学习——DataStream的基本转换
一、DataStream<->DataStreamDataStream到DataStream,常规的算子有map、filter、flatmap.这些算子和java8的stream相似，就不多描述，这里主要说union。在官方文档中，对union的描述是：说人话就是：两个或更多的流可以进行联合。创建出一个新的流，这个流包含所有的流的所有数据。如果一个流联合自己，那么数...
2019-04-29 18:05:22
5800
原创 docker学习（三）——使用docker-compose搭建canal-server、rockermq和fink环境
一：准备好docker运行环境,安装指南参考:win:https://docker_practice.gitee.io/install/windows.htmlMac:https://docker_practice.gitee.io/install/mac.htmlCentos:https://docker_practice.gitee.io/install/centos.html...
2019-04-10 19:56:04
3834
1
原创 otter学习（九）——常见报错处理
一、binlog文件被清理：Could not find first log file name in binary log index file1.报错日志2.现象如下图所示，pipeline的mainstem状态 一直处于定位中状态3.问题排查一般出现这个报错，都是由于运维同学误清空数据库binlog文件导致，我们按下述步骤确定是否由于binlog文件被清理：...
2019-02-27 15:33:16
14600
13
原创 otter学习（八）—— otter使用的一些经验
1.不要让otter去干不属于他的工作。otter专心于数据同步就好2.因为otter的输出并非按时序处理的，很有可能会出现先update，再insert的骚操作，对此，我们尽量减少强转为update的处理，多用otter的insert on duplicate key update3.处理时间字段时，要注意目标表的时间格式及数据库模式，比如0l转成的1970-01-01 08:00:00...
2019-02-27 15:29:28
4437
1
原创 otter学习（七）—— 实践五：单源单表同步单源多表
通过了实践一、二、三、四。我们已经初步解决了各仓库订单数据上云的需求。此时，仓库爸爸们又来了一个新的需求，要求增加一个订单打包数的统计。好说，我们一查对应关系，一个订单有多少包裹，可以通过t_box关联查到。但是！t_box表已经有映射在使用了。此时，你是不是想，我再配一个t_box表的映射不就行了吗比如这样:很遗憾的告诉大家，这种方式并不可行。这么配置，只会出现三个结果：...
2019-02-27 15:28:49
813
原创 otter学习（六）—— 实践四：多源多表同步单源单表
通过实践一、二、三之后，我们已经能初步的运用otter来实现某个仓库的数据同步需求，那么多个仓库都要往一张表里同步怎么办呢？otter的pipeline配置，是一个pipeline仅仅只能连接一个源，如果需要多源的情况下，仅仅只需要把之前的配置再配置一遍，然后转义代码里重设warehouse_id的值用于区分数据的来源即可一、配新的数据源、需要同步的数据表、新的canal 二...
2019-02-27 15:27:53
2176
2
原创 otter学习（五）—— 实践三：单源多表同步单库单表
看完了实践一与实践二、我们大致对otter有了一个简单认识。那么，我们有个大胆的想法，能否直接用otter来充当etl工具呢？我们从数据库多个业务表中选取数据，然后同步到一张累计事实表中说干就干：一、需求梳理： 1.接口层接收到上游单据时，需要在目标表新建一条订单记录 2..接口层接收到订单，流入wms系统后，需要对目标表相应的记录做更新，且在生命周...
2019-02-27 15:27:09
1755
1
原创 otter学习（四）—— 实践二：扩展同步
阅读完实践一的小伙伴肯定心想，如果只是单表同步，那我直接mysql的主从即可，何必搞得这么麻烦。 虽然otter可以加速同步，但是国内的环境很少有达到阿里的那个场景的啊。 这时，我们就要开始第二次实践，体验otter的高扩展性了。 还是以实践一的场景为例子，但是，我们做一些扩展： 假设我在同步的时候，把目...
2019-02-27 15:25:52
2348
1
原创 otter学习（三）——实践一：单源单表同步到单表
假设我们有个需要：需要把昆山嘉民仓wms库的t_inventory_bin表数据，同步到数据平台的picking库t_inventory_bin表中。我们按以下步骤进行配置一、配置数据源 1.登录otter，进入配置管理里的数据源配置页面，点击页面左下方的添加按钮（如果没有此按钮，请检查是否登录，或者账号是否具有权限） 2.填写数据源...
2019-02-27 15:25:14
1115
原创 otter学习（二）—— 快速搭建一个能够本地调试的otter系统
一、搭建otter系统需要的环境 1.jdk1.6.25以上的版本 2.方便本地调试用的IDE(Eclipse\IntelliJ IDEA) 3.mysql数据库 4.zookeeper 5.node 6.otter.manager 7.maven 二、数据库搭建 在你的mysql数据库新建一个otter的da...
2019-02-27 15:24:13
2095
2
原创 otter学习（一）——otter原理
1.otter原理： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统 原理描述： 1. 基于Canal开源产品，获取数据库增量日志数据。 2. 典型管理系统架构，manager(web管理)+node(工作节点) a. manager运行时推送同步配置到node节点...
2019-02-27 15:22:46
3702
2
原创 docker学习(二)——学习network命令，使容器间通信
在学习docker的时候，比方说我起了一个mysql的容器，再起一个需要使用mysql的容器，这个时候会为容器间通信而发愁找了下资料，首先，docker的容器默认是在同一个网内，可以在进入容器后，用命令 cat /etc/hosts 来查看ip也可以用命令来查看所有容器的ipdocker inspect --format='{{.Name}} - {{range .NetworkSe...
2019-01-22 16:48:25
1041
原创 docker学习(一)——使用docker搭建mysql5.7
最近工作需要重新搭建一套基于docker的数据平台，记录一下自己学习docker的过程1.下载mysql镜像先查询有哪些镜像，然后挑一个下载docker search mysqldocker pull mysql:5.72.在本地磁盘上创建映射文件夹mkdir -p docker_v/mysql/confmkdir -p docker_v/mysql/datamkd...
2019-01-22 16:00:40
294
原创 mybatis namespace与association心得笔记
工作中有个sku模块与其他9个业务模块有关联，需要查询时同时查出其余模块的信息。按照以前的笨方法，肯定是把其他9个模块的resultMap全部copy到sku模块里来，再copy所有的查询语句。拼成一条sql进行查询。或者在service层注入其余9个模块的dao，在查出sku信息后，再一条一条进行查询。这两个方法都很笨很繁琐。然后查了下mybatis的文档，res
2016-06-14 15:17:55
433
原创 mybatis递归查询笔记
今天前端需要我提供一个树状数据接口。想到了mybatis有collection可以使用。但是使用时，child数据一直为null原代码如下： select t.pk_base_wares_type_id, t.wares_type_name from t_base_wares_type t where t.parent_id =#
2016-05-16 15:58:45
5799
1
原创 用plupload+springMVC实现文件的上传
因为新公司项目初创，很多工具模块都没搭起来。这里对我用plupload框架+springMVC自带上传解析器进行一个上传功能的记录。1.引入jar包，除了springMVC的包外，我们需要org.apache.commons.fileupload-1.2.0.jar，org.apache.commons.io-1.4.0.jar这两个包。点此下载由于公司用了MAVEN进行项目管理，
2016-04-19 15:05:50
4883
2
canal\rocketmq\flink的docker-compose文件
2019-04-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人