![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据库
文章平均质量分 77
付江
关注软件开发和互联网业界
展开
-
MySQL多源复制实战
本文是滴滴云开源框架教程系列文章的一篇。 一、多源复制概述 MySQL多源复制使复制从库能够同时从多个源接收事务。多源复制可用于将多个服务器备份到单个服务器,合并表分片,以及将来自多个服务器的数据合并到单个服务器。 二、多源复制的配置 多源复制拓扑中的主设备可以配置为使用基于全局事务标识符(GTID)的复制或二进制日志基于位置的复制。多源复制拓扑中的从库需要基于TABLE存储,多源复制与基于FIL...原创 2018-11-09 12:17:17 · 1075 阅读 · 0 评论 -
基于滴滴云 MySQL 验证索引优化简单查询
1. MySQL 的索引 索引用于快速查找具有某一特定列值的行,如果不使用索引,MySQL 必须从表中的第一行开始读取整个表来找到相关的行,表越大,开销越大。如果表中有待查询列的索引,MySQL 可以在数据文件中快速定位所要查找的内容,而不用查询所有数据,速度大大优于顺序读取每一行数据。 本文将重点介绍基于滴滴云 MySQL 验证默认引擎 InnoDB 下索引对于简单查询的优化效果。 2. B+ ...原创 2019-01-28 10:47:01 · 313 阅读 · 0 评论 -
滴滴 Elasticsearch 多集群架构实践
Elasticsearch 是基于 Lucene 实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack,可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 一、滴滴 Elasticsearch 简介 滴滴 2016 年初开始构建 Elasticsearch 平台,如今已经发展到超过 3500+ Elasticse...原创 2019-01-09 11:14:32 · 352 阅读 · 0 评论 -
基于滴滴云搭建安全稳定的 Memcached 服务器
介绍 Memcached 是一种内存 cache 系统,通过将一些高频使用和最近经常访问的信息储存在内存中,可以明显地优化访问后端数据库的性能。 直观上来看,借助于 Memcached 组件,可以大量减少访问数据库的请求数量。但是,如果不合理地配置 Memcached Server,有可能会使得系统受到大量的攻击。基于此,有必要创建安全稳定的 Memcached 服务器,加固 Memcached ...原创 2019-01-08 11:23:37 · 235 阅读 · 0 评论 -
滴滴云部署 ZooKeeper + Kafka
Kafka 是一种分布式的流处理平台,流处理平台有以下三个特点: 发布和订阅流记录,类似于消息队列和企业消息系统。 流记录的存储具有容错性。 实时处理流记录。 Kafka 广泛应用于以下两方面: 为系统和应用之间的数据可靠传输建立实时的流式数据通道。 为传输或响应数据流建立实时的流式应用。 Kafka 以集群的方式运行在一台或跨机房的多台服务器上,储存在 Kafka 集群上的流记录用不同的...原创 2019-01-18 11:15:17 · 259 阅读 · 0 评论 -
MySQL5.7在滴滴云主机上的主从复制
MySQL5.7.9 主从同步配置 环境 CentOS 6.9 X86_64 MySQL 5.7.9 配置 本文以在滴滴云主机 DC2 上的操作为例。 首先要确定两台机器保证时间同步,然后确保两台机器已经安装好 MySQL5.7。 登录账号:root,密码:123123 这里不做赘述。 假设: MySQL-master:192.168.2.11 MySQL-slave::192.168.2.12 ...原创 2019-01-17 11:28:41 · 177 阅读 · 0 评论 -
Router-Based HDFS Federation 在滴滴大数据的应用
一、背景 HDFS 的 Master/Slave 架构,使得其具有单点瓶颈,即随着业务数据的大规模膨胀,Master 节点在元数据存储与提供服务上都会存在瓶颈。为了克服 HDFS 单点瓶颈存在的扩展性、性能、隔离问题,社区提出了Federation(https://issues.apache.org/jira/browse/HDFS-1052 )方案来进行解决。 但是使用该方案之后,暴露给客户的问...原创 2019-01-11 11:11:43 · 1802 阅读 · 0 评论 -
在滴滴云 DC2 上搭建 ProxySQL 中间件
前言 ProxySQL 是什么 ProxySQL 是一个高性能、高可用、兼容 MySQL 通信协议、支持多种 MySQL 分支的代理中间件。 准备 系统硬件 滴滴云服务器 ( DC2 ) : 安全可靠,拥有极高的性价比高,为开发者的需求而设计。适合大中小型用户购买使用。 本文示例采用:通用型 2核CPU 4GB内存 500G的EBS 云盘的服务器配置 依赖软件 系统:CentOS 7.4 Mari...原创 2018-12-25 11:31:58 · 222 阅读 · 0 评论 -
如何用 Minio SDK 访问滴滴云对象存储
一、 前言 滴滴云对象存储 S3 定位分布式海量数据存取服务。S3 提供标准的对象存储服务,您可以通过网络随时随地方便地存储和获取图片/音频/视频/文本/大文件等各类数据文件。 Minio 是一个开源的对象存储项目,它兼容亚马逊 S3 云存储服务接口,GitHub 地址是:https://github.com/minio。 Minio SDK 是一个非常轻量 SDK,本文将以 Python ( m...原创 2018-12-19 13:14:06 · 5116 阅读 · 0 评论 -
基于 DC2 和 Docker Compose 搭建 TiDB
TiDB 简介 TiDB 是一款由 PingCAP 设计的开源分布式 HTAP 数据库。结合了传统的 RDBMS 和 NoSQL 优势,TiDB(NewSQL)具备以下特性: 高度支持 MySQL 协议 轻松应对水平扩展 100% 支持分布式 ACID 事务 基于 Raft 协议保证数据一致性,并实现故障自动恢复 一站式 HTAP 解决方案 云原生 SQL 数据库 TiDB 可以轻松替换现有的...原创 2018-12-12 13:09:19 · 234 阅读 · 0 评论 -
在滴滴云 DC2 云服务器上搭建 MongoDB 实战
前言 MongoDB 介绍 MongoDB 是由 C++ 语言编写的,是一个基于分布式文件存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。 MongoDB 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档,数据结构由键值 ( key=>value ) 对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他...原创 2018-12-17 11:04:33 · 214 阅读 · 0 评论 -
如何使用 LVM 管理滴滴云 EBS
LVM 介绍 LVM ( Logical Volume Management ) 是一种存储设备管理技术,使用户能够汇集和抽象存储设备组件的物理布局,从而实现对物理磁盘简单灵活的管理。利用 Linux Device Mapper 内核框架,LVM2 可用于将现有存储设备组合到一起,并根据需要从组合空间分配逻辑单元。 本文将介绍如何用 LVM 管理存储设备。接下来将展示如何显示逻辑卷的相关信息,如何...原创 2018-12-20 14:03:40 · 201 阅读 · 0 评论 -
使用 Minio Client 访问滴滴云 S3 对象存储
如何申请滴滴云 S3 的 Bucket? 先注册**滴滴云账号**,进入:https://app.didiyun.com/#/s3/add 申请 Bucket,如下图: 填写名称和设置访问权限,点立即创建即可。 如何申请 AK 和 SK? 操作步骤: 点击“API”按钮。 选择“对象存储密钥”。 点击“创建 API 密钥”。 即可得到的 SecretID 和 SecretKey 值. 如何...原创 2018-12-13 11:32:46 · 2720 阅读 · 0 评论 -
如何在滴滴云 DC2 上搭建高可用 MySQL 集群
前言 MySQL 高可用集群 MySQL 高可用集群是通过第三方软件实现的故障转移技术,通常是通过 MHA+Keepalived 或者 MHA+ 脚本等来实现,本例子将采用 Keepalived 实现。 准备 系统硬件 滴滴云服务器(DC2):安全可靠,拥有极高的性价比高,为开发者的需求而设计。适合大中小型用户购买使用。 本文示例采用:通用型 2核CPU 4GB内存 500G的EBS 云盘的服务器...原创 2018-12-13 11:29:44 · 282 阅读 · 1 评论 -
在滴滴云上搭建 MongoDB 集群 (一)
1、准备工作 我们之前已经介绍过了 MongoDB 在滴滴云上的搭建。参考:<<在滴滴云 DC2 云服务器上搭建 MongoDB 实战>> 但是生产环境中,通常需要更高的稳定性要求,单机版的 MongoDB 服务器并不能满足,因此我们需要高可用的 MongoDB 集群。 硬件准备 我们本次只是模拟集群的搭建。因此直接采用上一次的搭建环境,通过不同的端口模拟集群。 2、简介 ..原创 2019-02-25 11:40:14 · 322 阅读 · 0 评论