- 博客(22)
- 资源 (279)
- 问答 (4)
- 收藏
- 关注
转载 kafka connect+debezium(binlog),解析binlog至kafka
本文目标在已知kafka connect和debezium作用,会使用kafka的基础上,学会使用debezium来读取binlog,并通过kafka connect将读取的内容放入kafka topic中。 基于卡夫卡0.10.0和Debezium0.6,mysql5.6kafka connectKafka Connect是一种用于Kafka和其他数据系统之间进行数据传输的工具。仅关注数据的复制...
2018-02-28 16:07:01 3281 1
转载 Databus架构分析与初步实践(for mysql)
目前关于databus的相关资料较少,特别是针对mysql的文档尤为稀少。本篇文章中介绍了databus相关组件及实现原理,初步实现了databus对mysql数据库的数据抓取,希望对后续使用者能提供一定的参考作用。1. 简介Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式,将数据库变更实时、可...
2018-02-24 19:03:36 3792 1
转载 美团外卖订单中心的演进
前言美团外卖从2013年9月成交第一单以来,已走过了三个年头。期间,业务飞速发展,美团外卖由日均几单发展为日均500万单的大型O2O互联网外卖服务平台。平台支持的品类也由最初外卖单品拓展为全品类。随着订单量的增长、业务复杂度的提升。外卖订单系统也在不断演变进化,从早期一个订单业务模块到现在分布式可扩展的高性能、高可用、高稳定订单系统。整个发展过程中,订单系统经历了几个明显的阶段,下面本篇文章将为大...
2018-02-24 17:57:37 1264
转载 分布式ID方案有哪些以及各自的优劣势,我们当如何选择
分布式ID方案有哪些以及各自的优劣势,我们当如何选择作者介绍 段同海,就职于达达基础架构团队,主要参与达达分布式ID生成系统,日志采集系统等中间件研发工作。背景在分布式系统中,经常需要对大量的数据、消息、http请求等进行唯一标识,例如:在分布式系统之间http请求需要唯一标识,调用链路分析的时候需要使用这个唯一标识。这个时候数据库自增主键已经不能满足需求,需要一个能够生成全局唯一ID的系统,这个...
2018-02-24 15:23:14 256
转载 美团团购订单系统优化记
美团团购订单系统优化记团购订单系统简介美团团购订单系统主要作用是支撑美团的团购业务,为上亿美团用户购买、消费提供服务保障。2015年初时,日订单量约400万~500万,同年七夕订单量达到800万。目标作为线上S级服务,稳定性的提升是我们不断的追求。尤其像七夕这类节日,高流量,高并发请求不断挑战着我们的系统。发现系统瓶颈,并有效地解决,使其能够稳定高效运行,为业务增长提供可靠保障是我们的目标。优化思...
2018-02-23 23:27:44 2720
转载 大众点评订单系统分库分表实践
背景原大众点评的订单单表早就已经突破两百G,由于查询维度较多,即使加了两个从库,优化索引,仍然存在很多查询不理想的情况。去年大量抢购活动的开展,使数据库达到瓶颈,应用只能通过限速、异步队列等对其进行保护;业务需求层出不穷,原有的订单模型很难满足业务需求,但是基于原订单表的DDL又非常吃力,无法达到业务要求。随着这些问题越来越突出,订单数据库的切分就愈发急迫了。这次切分,我们的目标是未来十年内不需要...
2018-02-23 19:23:00 850
转载 CentOS下Hive2.0.0单机模式安装详解
本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.41. 所需要的环境Hive 2.0需要以下运行环境: Java 1.7以上(强烈建议使用Java 1.8) Hadoop 2.X2. 下载、解压Hive安装包Hive官网地址: http://hive.apache.org/ 例如:wget "http:/...
2018-02-23 13:30:12 268
转载 架构-水平切分架构之基因法
业务:查询用户的所有帖子、查询帖子详情。字段:用户ID、帖子ID。普通水平切分: 根据帖子ID切分则无法一次查询用户的所有帖子; 根据用户ID切分则需要先查帖子所属用户;什么是分库基因? 通过uid分库,假设分为16个库,采用uid%16的方式来进行数据库路由,这里的uid%16,其本质是uid的最后4个bit决定这行数据落在哪个库上,这4个bit,就是分库基因。什么是基因法分库? 如...
2018-02-22 18:57:06 406
转载 数据库分库分表的应用场景及方法分析
数据库分库分表的应用场景及方法分析一. 数据库经常面临的问题二.解决方法的思量三.急剧膨胀的业务及数据量的影响 以电商领域为例,订单库将订单相关的数据(订单销售,订单售后,订单任务处理等数据)都放在一个数据库中。对于订单的销售数据,性能第一,需要能够承受促销期间每分钟几万到几十万的订单压力;而售后数据,在订单生成后,用于订单物流及订单克服等,性能压力不明显,但是需要保证及时性。将订单的销售数...
2018-02-22 15:44:51 660
转载 GitChat · 架构 | 从订单中心开始,聊“多KEY”类业务数据库水平切分架构实践
进入 GitChat 阅读原文前言本篇讲义将以“订单中心”为例,介绍“多key”类业务,随着数据量的逐步增大,数据库性能显著降低,数据库水平切分相关的架构实践。一、什么是“多key”类业务所谓的“多key”,是指一条元数据中,有多个属性上存在前台在线查询需求。订单中心业务分析订单中心是一个非常常见的“多key”业务,主要提供订单的查询与修改的服务,其核心元数据为:Order(oid, buyer_...
2018-02-22 13:08:17 898
转载 多key业务,数据库水平切分架构一次搞定
数据库水平切分是一个很有意思的话题,不同业务类型,数据库水平切分的方法不同。本篇将以“订单中心”为例,介绍“多key”类业务,随着数据量的逐步增大,数据库性能显著降低,数据库水平切分相关的架构实践。 一、什么是“多key”类业务所谓的“多key”,是指一条元数据中,有多个属性上存在前台在线查询需求。 订单中心业务分析订单中心是一个非常常见的“多key”业务,主要提供订单的查询与修改的服务,其核心元...
2018-02-12 20:21:03 166
转载 Hbase shell命令简单使用
hbase shell命令的简单使用进入hbase命令行./hbase shell1显示hbase中的表list1创建user表,包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}12向user表中插入信息,row key为rk0001,列族inf...
2018-02-10 10:52:34 205
转载 分库分表原则 总结
单库单表单库单表是最常见的数据库设计,例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到。 单库多表随着用户数量的增加,user表的数据量会越来越大,当数据量达到一定程度的时候对user表的查询会渐渐的变慢,从而影响整个DB的性能。如果使用mysql, 还有一个更严重的问题是,当需要添加一列的时候,mysql会锁表,期间所有的读写操作只能等待。可以通过某种...
2018-02-10 00:18:42 1795
转载 Linux Hadoop2.7.3 安装(单机模式) 一
Linux Hadoop2.7.3 安装(单机模式) 一 Linux Hadoop2.7.3 安装(单机模式) 二 java环境安装 http://www.cnblogs.com/zeze/p/5902124.html java 环境安装配置 etc/profile:export JAVA_HOME=/usr/jdk/jdk1.8.0_112export JRE_HOME=/usr/jdk/jd...
2018-02-09 18:42:03 2453
转载 Hadoop-HBase 单机部署
一、系统版本 Linux系统 wdOS-1.0-x86_64.iso 关于wdOS说明 1 安装简单,快速,去掉了安装过程中不必要的烦锁操作和不必要的选择 2 可选安装集成web环境,如lamp,lnmp,lnamp,并可相互自由切换使用 3 可选安装集成wdcp管理系统,可方便管理服务器和站点,数据库,FTP等 4 小巧,...
2018-02-09 18:41:05 235
转载 windows的hbase安装和使用
1 下载地址:http://mirrors.cnnic.cn/apache/hbase/hbase-0.94.27/2 设置conf下hbase-env.cmd中的JAVA_HOME:set JAVA_HOME=C:\Program Files\Java\jdk1.7.0_793 start-hbase.cmd 启动4以上就配置完了,用 Hbase Shell试一下是否能操作数据库:> c...
2018-02-09 14:59:12 1321
转载 数据仓库的架构与设计
公司之前的数据都是直接传到Hdfs上进行操作,没有一个数据仓库,趁着最近空出几台服务器,搭了个简陋的数据仓库,这里记录一下数据仓库的一些知识。涉及的主要内容有:什么是数据仓库?数据仓库的架构数据仓库多维数据模型的设计1. 什么是数据仓库1.1 数据仓库的概念官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,用于对管理决策过程的支持。这个定义的确官方,但是却指出了...
2018-02-09 10:29:59 327
转载 Hive高级查询(group by、 order by、 join等)
查询操作group by、 order by、 join 、 distribute by、sort by、 clusrer by、 union all12底层的实现 mapreduce常见的聚合操作count计数count(*) 所有值不全为NULL时,加1操作count(1) 不管有没有值,只要有这条记录,值就加1count(col) col列里面的值为null,值不会加1,...
2018-02-08 17:45:01 967
转载 大数据环境下互联网行业数据仓库/数据平台的架构之漫谈
关键字:互联网、大数据、数据仓库、数据平台、架构导读:整体架构数据采集数据存储与分析数据共享数据应用实时计算任务调度与监控元数据管理总结一直想整理一下这块内容,既然是漫谈,就想起什么说什么吧。我一直是在互联网行业,就以互联网行业来说。先大概列一下互联网行业数据仓库、数据平台的用途:整合公司所有业务数据,建立统一的数据中心;提供各种报表,有给高层的,有给各个业务的;为网站运营提供运营上的数据支持,就...
2018-02-08 17:19:02 2017
转载 Cassandra 的压缩策略STCS,LCS 和 DTCS
最新的Cassandra 2.1 或者更高的版本支持3种压缩策略,各有优劣,在2.2的版本的说明文档中,有对这三种策略的详细说明,部分翻译如下。文档链接:http://docs.datastax.com/en/cassandra/2.2/cassandra/dml/dmlHowDataMaintain.html?scroll=dmlHowDataWritten_unique_2__types-
2018-02-01 10:51:49 790
转载 读扩散和写扩散的理解
今天看一篇文章时,提到了微信的群聊是写扩散的,第一次接触到写扩散这个名词,于是去查了下资料,有写扩散就有读扩散嘛定义如下: 根据上面的定义,我是这样理解的,什么是写扩散,什么是读扩散,要怎么区分他们,区别之处就在于“主动”写扩散是主动把消息写到订阅者的消息列表里,这样订阅者就不用去我的outbox拉取消息 ,所以当我要是有很多订阅者时,我就要写很多次,这
2018-02-01 10:49:11 12390 2
转载 cassandra ssdb mongodb
IM系统:数据量大了mongodb性能有瓶颈cassandra ssdb : 配合使用来搞IM,写扩散其实是双写,历史消息走cassandra,ssdb保留7天的离线消息cassandra ssdb mongodb
2018-02-01 10:48:24 644
mariadb-5.5.34-winx64.zip
2018-05-12
canal.deployer-1.0.25.tar.gz
2018-05-12
mariadb-10.3.6-winx64.zip
2018-05-09
canal--mysql数据库binlog的增量订阅&消费组件
2018-05-08
redis2.8 windows 64
2018-04-16
DevCenter--Cassandra
2018-01-17
指令集时钟周期
2017-12-21
rabbitmq-server-windows-3.6.12.zip
2017-10-30
R-3.4.1(R语言sdk)
2017-08-23
RStudio-1.0.153
2017-08-23
LuaForWindows
2017-06-21
SwitchHosts
2017-02-22
erlang19安装包
2016-12-02
alibaba-otter
2016-09-30
erlang 18-release
2015-11-19
haproxy-1.5.12
2015-08-29
redis-2.4.5-win32-win64.zip
2014-11-25
Subversion--WINDOW下面的SVN命令行
2014-08-08
mybatis-generator-core-1.3.2-bundle.zip工具
2014-06-08
mariadb-10.0.7-winx64.zip
2018-05-09
弱弱问下,静态AOP到底指什么?
2015-05-08
spring quartz定时器任务时间超过定时器时间间隔,任务中断
2015-05-06
定时器退款的极端情况,该如何解决
2015-05-06
Dubbo 好处,优点是什么?
2015-04-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人