![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算
文章平均质量分 79
小庙里的大和尚
阿里原厂码农。专注于云计算平台, 大型系统的架构, 传统业务的云化。
展开
-
云计算发展随想
关于云计算的发展会如何逐步改变现代企业的it系统建设, 改变企业的生产经营方式, 以及云计算产业链上的上中下游为了满足企业的需求需要如何发展自己的产品,自己有一些模糊的想法,写出来大家一起探讨。 首先考虑企业会如何使用云计算。因为企业本身IT系统规模, 业务对IT系统的依赖各不相同, 所以企业拥抱云的道路也一定千差万别, 我考虑, 可能会出现下面几个大类: 第零类企业,原创 2014-10-27 12:56:01 · 759 阅读 · 0 评论 -
时序数据库 druid 简介 之技术点 位图索引
前面介绍了数序数据的特点, 往往是有大量的维度(dimension)。每个具体的位图, 其可能的取值相对于数据总量来说往往并不多, 但是查询经常涉及到很多维度的组合。举个例子, 假设数据是中国的人口数据, 有一个维度是年龄。 那么这个维度的可能值不会超过150个, 还有一个维度是所在区域, 如果省级区域的话也就三十来个。维度本身的取值不多, 可是查询的时候往往是一种组合。 比如青海省20-30岁之原创 2015-04-08 11:16:44 · 2058 阅读 · 0 评论 -
时序数据库 druid 简介之整体架构
druid (http://druid.io/)是设计用来分析时序数据,对OLAP提供支持。设计的时候就考虑到分布式的一些基本问题, 比如扩展性, 可靠性等问题。虽然文档比较糟心, 但是功能还是有一定吸引力的。druid 的设计思想是把时序数据分析这个任务分成几个处理步骤, 建立相关的组件, 每个组件只集中精力处理自己的任务。那么我们也根据一个时序数据的处理流程来了解一下druid的主原创 2015-04-08 10:22:40 · 6990 阅读 · 0 评论 -
时序数据库简介
这个小文章里尽量避免使用数据挖掘的概念, 争取用简单的语言解释出来, 如果以后有时间, 再仔细介绍几种开源时序数据库的结构和关键技术。时序数据简单的说, 就是随着时间流而不断产生的数据, 比如一台服务器的cpu负载, 或者一个应用的log文件等。 对于这种时序数据, 有一些常用的操作, 比如统计每分钟的平均值, 中位数等。所谓时序数据库, 就是针对这类场景做了优化的一类数据存储查询系统。在原创 2015-04-08 08:15:12 · 6965 阅读 · 0 评论 -
乐观也要在常识范围内
一般有新开展的业务来申请资源的时候, 我们需要业务方估算一下他们的tps和资源消耗量, 于是经常见到各种不靠谱的估算。业务方往往拍拍脑袋就给个三万五万的估算。拜托, 又不是打麻将, 想出几万出几万。 我们来简单算算5万tps到底是个什么概念。假设这是一个电子商务网站, 每笔交易的客单价为30元, 当tps达到5万的时候是什么概念呢?我们就算一天只有10个小时是有效交易时间, 那么一小时3600秒,原创 2014-10-27 12:55:55 · 371 阅读 · 0 评论 -
Raft 算法学习 续
log的传播 当leader收到客户的写请求后, 它记录一个更新log, 然后把log并行的复制给其它server。在多数派完成log复制后, leader向客户回复操作成功,以确认操作被提交。如果有follower宕机或处理的速度很慢, leader会一直重试直到成功。我们先看log的组织形式。以term 和 index来标示log 如下图: 1原创 2014-10-27 12:55:50 · 551 阅读 · 0 评论 -
raft 算法学习
本文介绍分布式一致性算法 Raft。 需要读者理解分布式一致性问题产生的原因。 在分布式一致性算法上, 最著名的当然是 paxos。 同时, 这家伙也以难以理解而闻名。于是 raft 来了。本文对raft 依据(https://ramcloud.stanford.edu/wiki/download/attachments/11370504/raft.pdf) 进行简单的说明, 帮助原创 2014-10-27 12:55:47 · 811 阅读 · 0 评论 -
cuckoo filter 简介
介绍个小东西, cuckoo filter (布谷鸟过滤器)。可以用作替代bloom filter。 介绍这个东东前先简单介绍一下 cuckoo hash。 cuckoo hash 是一种hash表, 在最坏情况下查找也是常数时间, 它主要是在 hash 冲突时处理方法比较特殊。传统hash表在发生hash冲突的时候, 通过把冲突的item挂在一张链表上解决(当然还有其它方原创 2014-10-27 12:55:44 · 2290 阅读 · 0 评论 -
介绍下用消息队列实现分布式事务
在OIE的时代, 上层应用开发人员总是认为数据库足够强大, 所以很多业务可以做的非常简单。 比如A转账50元给B这个过程, 只要写一个简单sql语句块就ok了。 开始事务; A账户减去50 B账户增加50 提交事务。 这个实现简单明了, A账户钱减少的同时B账户的钱得到增加。但是当系统规模逐步扩大的时候, 只能不断要求使用更原创 2014-10-27 12:55:58 · 1224 阅读 · 1 评论 -
看看云计算的武器库 --- 写给传统软件开发人员
最近两年, 云计算在软件开发上的影响越来越大,很多传统软件商都在进行云计算的转型, 这里就我的理解, 来介绍一下云计算目前提供给软件开发集成人员的基本能力和组件。 下面的介绍产品的时候是根据amazone和阿里云对比介绍来进行。虽然amazone的产品集要丰富完备得多, 但是考虑神州的实际情况, 即便amazone入华也存在后续被赶出去的风险, 所以选择amazone的产品还原创 2014-10-27 12:55:53 · 491 阅读 · 0 评论 -
时序数据库 druid 简介 之技术点 统计估算算法
在前边介绍时序数据的时候, 我们可能经常会遇到计算基数(Cardinality) 和分位数 (Quantile)。 基数我们可以理解为 count distinct。比如计算页面访问的独立ip, 分位数我们举个我们最常用的第99百分位数例子, 假设我说中国人寿命的第99百分位数是101岁, 这个表示, 99%的中国人的寿命不会超过101岁。我们看看基数怎么计算。 假设我们要统计独立ip原创 2015-04-08 14:23:49 · 2226 阅读 · 0 评论