自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 kafka connect+debezium(binlog),解析binlog至kafka

本文目标在已知kafka connect和debezium作用,会使用kafka的基础上,学会使用debezium来读取binlog,并通过kafka connect将读取的内容放入kafka topic中。 基于卡夫卡0.10.0和Debezium0.6,mysql5.6kafka connec...

2018-02-28 16:07:01

阅读数 1937

评论数 1

转载 Databus架构分析与初步实践(for mysql)

目前关于databus的相关资料较少,特别是针对mysql的文档尤为稀少。本篇文章中介绍了databus相关组件及实现原理,初步实现了databus对mysql数据库的数据抓取,希望对后续使用者能提供一定的参考作用。1. 简介Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取...

2018-02-24 19:03:36

阅读数 2446

评论数 1

转载 美团外卖订单中心的演进

前言美团外卖从2013年9月成交第一单以来,已走过了三个年头。期间,业务飞速发展,美团外卖由日均几单发展为日均500万单的大型O2O互联网外卖服务平台。平台支持的品类也由最初外卖单品拓展为全品类。随着订单量的增长、业务复杂度的提升。外卖订单系统也在不断演变进化,从早期一个订单业务模块到现在分布式可...

2018-02-24 17:57:37

阅读数 773

评论数 0

转载 分布式ID方案有哪些以及各自的优劣势,我们当如何选择

分布式ID方案有哪些以及各自的优劣势,我们当如何选择作者介绍 段同海,就职于达达基础架构团队,主要参与达达分布式ID生成系统,日志采集系统等中间件研发工作。背景在分布式系统中,经常需要对大量的数据、消息、http请求等进行唯一标识,例如:在分布式系统之间http请求需要唯一标识,调用链路分析的时候...

2018-02-24 15:23:14

阅读数 71

评论数 0

转载 美团团购订单系统优化记

美团团购订单系统优化记团购订单系统简介美团团购订单系统主要作用是支撑美团的团购业务,为上亿美团用户购买、消费提供服务保障。2015年初时,日订单量约400万~500万,同年七夕订单量达到800万。目标作为线上S级服务,稳定性的提升是我们不断的追求。尤其像七夕这类节日,高流量,高并发请求不断挑战着我...

2018-02-23 23:27:44

阅读数 1895

评论数 0

转载 大众点评订单系统分库分表实践

背景原大众点评的订单单表早就已经突破两百G,由于查询维度较多,即使加了两个从库,优化索引,仍然存在很多查询不理想的情况。去年大量抢购活动的开展,使数据库达到瓶颈,应用只能通过限速、异步队列等对其进行保护;业务需求层出不穷,原有的订单模型很难满足业务需求,但是基于原订单表的DDL又非常吃力,无法达到...

2018-02-23 19:23:00

阅读数 613

评论数 0

转载 CentOS下Hive2.0.0单机模式安装详解

本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.41. 所需要的环境Hive 2.0需要以下运行环境: Java 1.7以上(强烈建议使用Java 1.8) Hadoop 2.X2. 下载、解压Hive安...

2018-02-23 13:30:12

阅读数 108

评论数 0

转载 架构-水平切分架构之基因法

业务:查询用户的所有帖子、查询帖子详情。字段:用户ID、帖子ID。普通水平切分:  根据帖子ID切分则无法一次查询用户的所有帖子;  根据用户ID切分则需要先查帖子所属用户;什么是分库基因?  通过uid分库,假设分为16个库,采用uid%16的方式来进行数据库路由,这里的uid%16,其本质是u...

2018-02-22 18:57:06

阅读数 163

评论数 0

转载 数据库分库分表的应用场景及方法分析

数据库分库分表的应用场景及方法分析一. 数据库经常面临的问题二.解决方法的思量三.急剧膨胀的业务及数据量的影响    以电商领域为例,订单库将订单相关的数据(订单销售,订单售后,订单任务处理等数据)都放在一个数据库中。对于订单的销售数据,性能第一,需要能够承受促销期间每分钟几万到几十万的订单压力;...

2018-02-22 15:44:51

阅读数 153

评论数 0

转载 GitChat · 架构 | 从订单中心开始,聊“多KEY”类业务数据库水平切分架构实践

进入 GitChat 阅读原文前言本篇讲义将以“订单中心”为例,介绍“多key”类业务,随着数据量的逐步增大,数据库性能显著降低,数据库水平切分相关的架构实践。一、什么是“多key”类业务所谓的“多key”,是指一条元数据中,有多个属性上存在前台在线查询需求。订单中心业务分析订单中心是一个非常常见...

2018-02-22 13:08:17

阅读数 594

评论数 0

转载 多key业务,数据库水平切分架构一次搞定

数据库水平切分是一个很有意思的话题,不同业务类型,数据库水平切分的方法不同。本篇将以“订单中心”为例,介绍“多key”类业务,随着数据量的逐步增大,数据库性能显著降低,数据库水平切分相关的架构实践。 一、什么是“多key”类业务所谓的“多key”,是指一条元数据中,有多个属性上存在前台在线查询需求...

2018-02-12 20:21:03

阅读数 49

评论数 0

转载 区块链开源框架Hyperledger Fabric介绍

如果说以比特币为代表的货币区块链技术为 1.0,以以太坊为代表的合同区块链技术为 2.0,那么实现了完备的权限控制和安全保障的 Hyperledger 项目毫无疑问代表着区块链技术 3.0 时代的到来。Hyperledger 项目目前主要包括Fabric, Sawtooth Lake,Iroha,...

2018-02-12 20:02:19

阅读数 2779

评论数 1

转载 Hbase shell命令简单使用

hbase shell命令的简单使用进入hbase命令行./hbase shell1显示hbase中的表list1创建user表,包含info、data两个列族create 'user', 'info1', 'data1' create 'user', {NAME => 'i...

2018-02-10 10:52:34

阅读数 67

评论数 0

转载 分库分表原则 总结

单库单表单库单表是最常见的数据库设计,例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到。 单库多表随着用户数量的增加,user表的数据量会越来越大,当数据量达到一定程度的时候对user表的查询会渐渐的变慢,从而影响整个DB的性能。如果使用mysql, 还...

2018-02-10 00:18:42

阅读数 601

评论数 0

转载 Linux Hadoop2.7.3 安装(单机模式) 一

Linux Hadoop2.7.3 安装(单机模式) 一 Linux Hadoop2.7.3 安装(单机模式) 二 java环境安装 http://www.cnblogs.com/zeze/p/5902124.html java 环境安装配置 etc/profile:export JAVA_HOM...

2018-02-09 18:42:03

阅读数 1240

评论数 0

转载 Hadoop-HBase 单机部署

一、系统版本        Linux系统 wdOS-1.0-x86_64.iso       关于wdOS说明       1 安装简单,快速,去掉了安装过程中不必要的烦锁操作和不必要的选择       2 可选安装集成web环境,如lamp,lnmp,lnamp,并可相互自由切换使用     ...

2018-02-09 18:41:05

阅读数 72

评论数 0

转载 windows的hbase安装和使用

1 下载地址:http://mirrors.cnnic.cn/apache/hbase/hbase-0.94.27/2 设置conf下hbase-env.cmd中的JAVA_HOME:set JAVA_HOME=C:\Program Files\Java\jdk1.7.0_793 start-hb...

2018-02-09 14:59:12

阅读数 816

评论数 0

转载 数据仓库的架构与设计

公司之前的数据都是直接传到Hdfs上进行操作,没有一个数据仓库,趁着最近空出几台服务器,搭了个简陋的数据仓库,这里记录一下数据仓库的一些知识。涉及的主要内容有:什么是数据仓库?数据仓库的架构数据仓库多维数据模型的设计1. 什么是数据仓库1.1 数据仓库的概念官方定义数据仓库是一个面向主题的、集成的...

2018-02-09 10:29:59

阅读数 182

评论数 0

转载 Hive高级查询(group by、 order by、 join等)

查询操作group by、 order by、 join 、 distribute by、 sort by、 clusrer by、 union all12底层的实现 mapreduce常见的聚合操作count计数count(*) 所有值不全为NULL时,加1操作 count(1) 不...

2018-02-08 17:45:01

阅读数 134

评论数 0

转载 大数据环境下互联网行业数据仓库/数据平台的架构之漫谈

关键字:互联网、大数据、数据仓库、数据平台、架构导读:整体架构数据采集数据存储与分析数据共享数据应用实时计算任务调度与监控元数据管理总结一直想整理一下这块内容,既然是漫谈,就想起什么说什么吧。我一直是在互联网行业,就以互联网行业来说。先大概列一下互联网行业数据仓库、数据平台的用途:整合公司所有业务...

2018-02-08 17:19:02

阅读数 1044

评论数 0

提示
确定要删除当前文章?
取消 删除