自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(23)
  • 资源 (3)
  • 收藏
  • 关注

原创 大数据开源框架之一: HADOOP/MAPREDUCE HBASE HIVE PIG ZOOKEEPER

最流行之大数据框架。

2013-11-29 21:34:39 2085

原创 STL中Map 与Hash Map

Summary of the difference1. STL map is an associative array where keys are stored in sorted order using balanced trees. While hash_map is a hashed associated container, where keys are not stored i

2013-11-27 22:10:26 1331

原创 五大存储模型关系模型、键值存储、文档存储、列式存储、图形数据库

也可以认为是五大数据库存储模型。数据库市场需要细分,行式数据库不再满足所有的需求,而有很多需求需要通过内存数据库和列式数据库解决,列式数据库在数据分析、海量存储、BI这三个领域有自己独到。1. 关系型数据库(行式数据库)关系模型使用记录(由元组组成)进行存储,记录存储在表中,表由架构界定。表中的每个列都有名称和类型,表中的所有记录都要符合表的定义。SQL是专门的查询语言

2013-11-26 23:13:18 18534 3

原创 云计算的制高点在于云本身而不是云解决方案

当年每个企业都买发电设备自己发电。 现在都是大型发电厂和电网公司,然后我们用电而已。 目前各个企事业单位采购IT设备、软件系统来设立IT系统给自己用,那么以后就去云计算中心租用计算资源、存储资源。 这是个庞大而且品类众多的市场,而且有的关系到国计民生。所以自然而然,云本身才是未来的制高点,而不是云设备、云解决方案。 就像电网公司、发电厂是制高点,电力设备厂、电力设备方案不是制高点。

2013-11-22 11:08:05 1206 2

原创 分布式范式总结

参考

2013-11-21 22:43:44 1823

原创 paxos 算法实现和设计要点

参考chubby与SVC1. 2.

2013-11-21 22:42:49 1621

原创 一致性算法之四: 时间戳和向量图

整理中

2013-11-20 16:15:48 11785

原创 session和cookie 比较全面的理解

A. SESSIONID 的安全问题hacker如果知道你目前站点通话中的sessionid,那他可以伪造客户端的cookie中的sessionid,从而骗取服务器的信任,解决的方法一:在session中存储客户端的agent信息和ip,在获取session信息的时候,比对angent和ip,从而保证sessionid不会盗用。解决的方法二:sessionid的value千万别明码标识

2013-11-18 22:37:40 1184

原创 网站SESSION的同步 管理等。

大型网站的业务繁多,于是就有多个子业务、子站点,对于某些热门子站点其web 服务器也有很多台。 网站的交互过程中很多状体需要在各个系统、节点中穿梭。 有一级域名,二级域名,三级域名,系统的各个功能模块分布在不同的域名,同一域名的也有可能分布在不同省份的服务器或者同一省份的不同的服务器中,同一省份的的服务器可以通过内部局域网访问。在系统中,现在需要所有功能模块共享用户同一次会话中的私有数据。 那

2013-11-18 22:23:44 1032

原创 用户增加,功能扩展时系统如何升级 架构改变

1.百万以下下用户: 系统可以scale up方式来升级。 或者简单系统横向扩展。2.1-2百万账户: 系统按照垂直分割模式设计,将个业务系统分开包括其中的数据库。 譬如用户中心(包括登录), 积分系统,博客,相册等。 按业务逻辑分开是必须的,但是有些信息必须是共享的。 譬如单点登录功能,腾讯的QQ号登录后,各个打通的子系统都可以自动登录。3. 3百万时:  垂直切分的话,

2013-11-18 16:02:44 1104

原创 一致性算法之三:Quorum NRW

系统N个节点副本,

2013-11-11 21:16:03 5855

原创 事件驱动实现单线程实现并发 真正的高效并发

无堵塞并发编程http://www.jdon.com/42781

2013-11-11 17:35:31 2989

原创 分布式中 CAP BASE ACID 理解

概念理解(CAP,BASE, ACID), 一致性算法,CAP不同组合,一致性理解

2013-11-11 17:33:03 6045

原创 云计算的基础架构IAAS PAAS SAAS 关系

消费者通过Internet 可以从完善的计算机基础设施获得服务。这类服务称为基础设施即服务。基于 Internet 的服务(如存储和数据库)是 IaaS(Infrastructure as a Service)的一部分。Internet上其他类型的服务包括平台即服务(Platform as a Service,PaaS)和软件即服务(Software as a Service,SaaS)。PaaS

2013-11-09 15:57:43 4862

原创 负载均衡 load balance

This is a big topic which can be measured by many different ways.  按层次: 网络层和应用层; 按范围: 全局和本地; 按策略:round robin, 加权round robin,  关键性能的反馈来确定负载。1. 网络层:DNS:  最早的负载均衡技术之一, 在DNS中为多个地址配置同一个名字,因

2013-11-09 11:59:54 1246

转载 BLOOM filter 布隆过滤器  去重算法首选

去重一般用hash。Hash存在一个冲突(碰撞)的问题,用同一个Hash得到的两个URL的值有可能相同。为了减少冲突,我们可以多引入几个Hash,如果通过其中的一个Hash值我们得出某元素不在集合中,那么该元素肯定不在集合中。只有在所有的Hash函数告诉我们该元素在集合中时,才能确定该元素存在于集合中。这便是Bloom-Filter的基本思想。http://blog.csd

2013-11-07 17:27:31 1577

原创 TCP 三次握手 四次挥手 socket 状态 对应代码

int CSocket::SetSockOpt(int iLevel, int iOptName, const void *pOptVal, socklen_t tOptLen){    if( setsockopt(m_iSocket,iLevel,iOptName,pOptVal,tOptLen)    {         m_strError="fail in functio

2013-11-07 16:51:38 1217

原创 无锁编程 汇总

无锁编程主要是通过一系列原子操作实现。原子操作:1.   Read-Modify-Write(RMW)操作Win32上的_InterlockedIncrement and InterlockedDecrement,iOS上的OSAtomicAdd32以及C++11中的std::atomic::fetch_add。需要注意的是,C++11的原子标准不保证其在每个平台上的实现都是无

2013-11-06 17:30:22 1028

原创 一致性算法之二: 两阶段提交协议 完整易理解

前提条件 系统节点分为:其中一个节点被设置为协调者,其他节点设置为参与者。假定在每个节点上都有一个使用write-ahead log的稳定数据存储节点,说白了可以打日志,而且日志在persistent 存储中 。如果要成功,那么在收到commit前没有节点崩溃,write-log的日志保证不丢失,并且协调者和任意参与者都可以互相通信。所以如果要成功的话,条件还是很严格的。

2013-11-05 17:48:39 3486 1

原创 一致性算法之一:paxos 文章汇总

Fast Paxos:http://blog.csdn.net/chen77716/article/details/7297122介绍的最清楚的,易懂的paxos:算法原理:http://blog.csdn.net/chen77716/article/details/6166675算法过程: http://blog.csdn.net/chen77716/article/

2013-11-05 10:43:31 2162

转载 介绍的比较全面中国人最容易懂的paxos

http://blog.csdn.net/chen77716/article/details/6166675Paxos算法的难理解与算法的知名度一样令人敬仰,从我个人的经历而言,难理解的原因并不是该算法高深到大家智商不够,而在于Lamport在表达该算法时过于晦涩且缺乏一个完整的应用场景。如果大师能换种思路表达该算法,大家可能会更容易接受:首先提出算法适用的场景,给出一个多数读

2013-11-05 10:20:09 16759 3

原创 static_cast、dynamic_cast、reinterpret_cast、和 const_cast

关于强制类型转换的问题,很多书都讨论过,写的最详细的是C++ 之父的《C++的设计和演化》。最好的解决方法就是不要使用C风格的强制类型转换,而是使用标准C++的类型转换符:static_cast, dynamic_cast。标准C++中有四个类型转换符:static_cast、dynamic_cast、reinterpret_cast、和 const_cast。下面对它们一一进行介绍。 错

2013-11-05 10:14:20 1082

转载 compler moves this pointer while Upcasting derived ojbect pointe to parent pointe by static_cast

原文链接在多继承的情况下,用static_cast去upcast子对象指针到父对象指针时候,This 指针会自动偏移到正确的那路父对象指针。 条件是static_cast时候,子对象的指针不可以是(void *)必须是(static_cast *). 原因是static_cast是编译时候处理的。单继承(Single Inheritance,SI)对象模型

2013-11-05 09:48:51 914

Disk IO especially SSD optimization step by step share

Disk IO especially SSD optimization step by step

2015-11-25

逻辑回归 S函数 极大似然

这三者的理解 结合具体案例

2015-09-22

极大似然 S函数 逻辑回归 具体案例 学习笔记

极大似然 S函数 逻辑回归 具体案例 学习笔记

2015-03-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除