2018年08月_xuciyisheng

原创阿里云Redis多线程性能提升思路解析

摘要： Redis做为高性能的K-V数据库，由于其高性能，丰富的数据结构支持，易用等特性，而得到广泛的应用。但是由于redis单进程单线程的模型限制，单Redis Server QPS最高只能达到10万级别。本文试图通过对Redis做多线程的优化，来达到增强性能的目的。背景众所周知redis是单进程单线程模型（不完全是单进程单线程，还有若干后端线程主要做刷脏数据，关闭文件描述符等后台清理工...

2018-08-30 15:06:01 226

简介Redis全球多活产品是阿里云自研、基于云数据库Redis版(ApsaraDB for Redis)、100%兼容 Redis 协议的多活数据库系统。通过数据同步通道，把多个Redis实例组网成1个逻辑上的 Redis 多活实例，多活实例内的所有实例均可读写并保持实时数据同步。数据同步通道通过内网打通，具有高可靠、高安全，低延迟的特性。子实例间通过CRDT（Conflict-free Re...

2018-08-30 14:13:09 805

原创 MaxCompute Tunnel上传典型问题场景

数据问题Q：使用Tunnel Java SDK上传数据，上传数据可以自动分配到各个分区吗？A：目前Tunnel是无法自动上传数据并自动分配到各个分区的：每一次上传只支持数据上传到一张表或表的一个分区，有分区的表一定要指定上传的分区，多级分区一定要指定到末级分区。关于JAVA SDK可参考：Java SDK。Q：使用Tunnel Java SDK上传数据，如果是分区表，SDK能够动态根据...

2018-08-29 16:34:46 916

原创阿里云技术专家刘晨旭：阿里云对数据可靠性保障的一些思考

作者：刘晨旭，阿里云技术专家。1. 背景互联网时代的数据重要性不言而喻，任何数据的丢失都会给企事业单位、政府机关等造成无法计算和无法弥补的损失，尤其随着云计算和大数据时代的到来，数据中心的规模日益增大，环境更加复杂，云上客户群体越来越庞大，从而造成硬件故障、软件失效等错误发生的频率也在猛增，任何架构和流程上的疏漏都可能会造成大面积的数据丢失。由此可见，保证客户的数据可靠性对云计算服务提供商有...

2018-08-29 15:56:11 336

原创复杂 SQL 查询跑不动？DRDS 只读实例来解决！

背景在实际业务生产环境中，业务应用系统在使用 OLTP 数据库将数据进行存储后，均会存在如后台运营类系统进行统计报表分析等场景的复杂 SQL 查询诉求。为满足此类复杂 SQL 查询快速响应的需求，DRDS 团队基于第三代分布式SQL引擎，进一步引入自研 MPP 多机并行计算引擎（Fireworks）及对应的优化策略，极大地补强了 DRDS 的复杂查询处理能力。千万级数据下的分布式多表Jo...

2018-08-28 14:49:21 119

原创为数据安全而生，阿里云容灾备份方案场景实践解析

数字经济时代，数据正以超出想象的速度快速增长。短短几年，数据量已经从TB级别跃升到PB乃至ZB级别。根据相关研究机构调查结果显示，2017 年全年数据总量将超过15.2ZB，同比增长35.7%。到2018 年全球数据总量达19.4ZB。未来几年全球数据的增长速度在每年25%以上，预计到2020年，全球数据总量将接近50ZB。不可否认的是，数据是数字化运营的核心，数据安全决定企业的生死存亡。...

2018-08-28 14:08:35 1009

原创限流和降级（上） | 如何打造平台稳定性能力（一）

在整个稳定性体系中，所包含的范围非常广泛，从机房的布线、网络通信、硬件部署、应用架构、数据容灾等方面都与之相关。从共享服务中台的角度看，则更多的是从应用架构设计和中间件平台的维度对平台的稳定性实现更精确化的管理和保障。本期开始，我们将从这个角度介绍阿里巴巴中间件团队多年来为了提升平台稳定性所做出的一系列技术创新和成果，包括限流和降级、流量调度、业务开关、容量压测和评估、全链路压测平台业务一直性平台...

2018-08-28 13:19:24 191

原创服务化改造实践（一）| Dubbo + ZooKeeper

“没有最好的技术，只有最合适的技术。”我想这句话也同样适用于微服务领域，没有最好的服务框架，只有最适合自己的服务改造。在 Dubbo 的未来规划中，除了保持自身技术上的领先性，关注性能、大流量、大规模集群领域的挑战外，围绕 Dubbo 核心来发展生态，将 Dubbo 打造成一个服务化改造的整体方案也是重点之一。从本期开始，我们将推出“服务化改造”系列文章，通过在一些外围系统和服务化基础组件上的开发...

2018-08-27 16:11:03 193

原创 MongoDB云上灾备：如何快速复制阿里异地灾备、多活架构

1. 背景当前的数据库系统生态中，大部分系统都支持多个节点实例间的数据同步机制，如Mysql Master/Slave主从同步，Redis AOF主从同步等，MongoDB更是支持3节点(及以上)ReplicaSet同步，上述机制很好的支撑了一个逻辑单元的数据冗余及HA。跨逻辑单元(3节点实例、主从实例)，甚至跨单元、跨数据中心的数据同步，在业务层有时候就显得很重要，可以支持同城多...

2018-08-27 15:27:36 2096

原创最佳实践：IDC双专线静态路由冗余上云方案

大家好，我是云企业网产品经理辰城。之前为大家介绍了专线通过BGP结合云企业网主备上云的方案。今天为大家介绍在专线侧没有使用BGP路由协议，使用静态路由的情况下，通过冗余链路上云方案。场景分析通过专线接入和云企业网组合的方式，客户IDC冗余专线上云，并和云上不同地域VPC互通的场景。网络拓扑1：客户IDC已通过专线双冗余方式，链接到阿里云的不同边界路由器实现冗余链路。IDC和VBR之...

2018-08-06 16:08:36 1190

转载 CloudDBA新功能上线--SQL过滤/限制/防火墙

1 前言CloudDBA是阿里云数据库团队开发的智能诊断和优化平台，可以帮助用户更好使用阿里云数据库。CloudDBA不断提升算法和规则，更好的匹配更多用户场景，刚刚上线了SQL过滤功能，用来解决某类SQL给系统带来的冲击。2 功能描述匹配用户设置的关键字和并发数，对某类SQL(SELECT/UPDATE/DELETE)进行按并发数限流，当这一类SQL的并发小于并发数的进到Serve...

2018-08-06 14:41:55 144

转载看我72变，阿里HBase数据压缩编码探索

福利：国际顶级盛会HBaseCon Asia 2018将于8月在北京举行，目前正免费开放申请中，更多详情参考https://yq.aliyun.com/promotion/631 如果你对大数据存储、分布式数据库、HBase等感兴趣，欢迎加入我们，一起做最好的大数据在线存储，职位参考及联系方式前言你可曾遇到这种需求，只有几百qps的冷数据缓存，却因为存储水位要浪费几十台服务器？你可曾遇...

2018-08-03 17:37:41 263

转载专家教你使用MaxCompute玩转大数据分析！

摘要：传统的数据分析，经常使用的工具是Hadoop或Spark，在使用之前环境是需要用户自己去搭建的。随着业务逐渐向云迁移，如何在云上进行大数据分析是需要解决的问题。为此，阿里云提供了一项很重要的服务——大数据计算服务MaxCompute。本视频中，上海驻云科技的专家将带领大家了解如何使用阿里云的大数据计算服务MaxCompute来进行数据分析的。演讲嘉宾简介：翟永东，来自上海驻云科技。上...

2018-08-03 17:36:29 1311

转载技术大牛论道HBase 3.0 可能的新特性

摘要：经过了四年的发展历程，HBase 2.0终于发布上线，其增加了很多的新特性，能够更好地适应更多的场景，但是也有一些原本计划的特性并没有随之上线。在未来的HBase 3.0版本中，又有哪些特性能够增加进来呢？本文中，技术大牛将论道HBase 3.0那些可能的新特性。本文内容根据演讲视频以及PPT整理而成。PPT下载地址，请戳这里！其实，开源社区一直在反思为什么HBase 2....

2018-08-03 16:34:29 1124

转载大数据时代的结构化存储—HBase在阿里的应用实践

前言时间回到2011年，Hadoop作为新生事物，在阿里巴巴已经玩得风生水起，上千台规模的"云梯"是当时国内名声显赫的计算平台。这一年，Hadoop的好兄弟HBase由毕玄大师带入淘宝，开启了它的阿里之旅。从最初的淘宝历史交易记录，到去年的支付宝消费记录存储在线历史存储统一；从蚂蚁安全风控的多年存储演进，到HBase、TT、Galaxy的大数据激情迭代；HBase在阿里经历过年轻的苦涩，释放...

2018-08-03 09:33:00 303

xuciyisheng的博客