- 博客(6)
- 资源 (8)
- 收藏
- 关注
转载 canal的使用说明
转自:https://github.com/alibaba/canal/wiki/QuickStartQuickStartagapple edited this page on 19 Jan 2017 · 21 revisions Pages 11Table of ContentsHomeIntroductionQuickStartClientExampleAdminGuideClientAPID...
2018-04-18 20:07:01 1897
转载 基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql
转自:https://github.com/alibaba/canal项目介绍名称:canal [kə'næl]译意: 水道/管道/沟渠语言: 纯java开发定位: 基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql关键词: mysql binlog parser / real-time / queue&topic工作原理mysql主备复制实现从上层来看,复制...
2018-04-18 20:05:18 2054
转载 Druid 介绍及配置
Druid 介绍及配置1. Druid是什么?Druid是Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。2. 在哪里下载druid正式版本下载:maven中央仓库: http://central.maven.org/maven2/com/alibaba/druid/ 3. 怎么获取Druid的源码Druid是一个开源项目,源码托管在github上,源代码仓库地址是 ht...
2018-04-15 09:21:59 1606
转载 Kettle入门教程
Kettle入门教程最近做的项目用到了ETL工具Kettle,这个工具相当好用,可以将各种类型数据作为数据流,经过处理后再生成各种类型的数据。正如其名“水壶”,将各个地方的水倒进水壶里,再用水壶倒入不同的容器。不过一来初学乍用,二来对此任务不是很感兴趣,研究的不是很深入,可能是以一种不科学的方法使用的,但观教程,常用的内容似乎也涉及到了,并且Y大说过,要善于总结,于是有了这篇,作为入门说明吧。一、...
2018-04-14 16:00:23 3144
原创 总结杂谈
架构设计 图组件选择(调研+压测试)高可靠压缩格式文件格式每秒,分钟数据量 未入集群 离线 实时那块高可靠没有做好?flume memory |spark yarn开发内容:hivespark存储监控java1.GC jvm垃圾选择器参数串行收集器、并行收集器、并发收集器。GC有两种类型:Scavenge GC和Full GC。以使用-XX:+UseSerialGC打开。-XX:Paralle...
2018-04-09 10:51:07 359
原创 hive16条优化
优化点:从底向上 1)压缩 选型:不同场景(空间、解压速度、splitable) 好处: 2)Storage Format 行式 vs 列式(olap 90%+) SQL on hadoop: textfile、sequencefile rcfile: 行+列 o...
2018-04-09 10:49:36 427
user-behaviour-analytics-playbook.pdf
2020-08-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人