技术资料库

原创 分布式Qurorum机制NRW

在了解Quorum机制之前，先回顾一下数据一致性强一致性：在任意时刻，从任意不同副本取出的值都是一样的。 弱一致性：有时泛指最终一致性，是指在任意时刻，可能由于网络延迟或者设备异常等原因，不同副本中的值可能会不一样，但经过一段时间后，最终会变成一样。显然，我们更想要做到强一致性的这种效果，那么有哪些方式可以实现呢，其中最为简单直接的就是WARO，也就是Write All Read one。WARO协议是一种简单的副本控制协议，当 Client 请求向某副本写数据时（更新数据），只有当所有的副

转载 信贷风控中Vintage、滚动率、迁移率

一、VintageVintage源于葡萄酒酿造，葡萄酒的品质会因葡萄生长的年份不同、气候不同而不同。Vintage分析是指评估不同年份的葡萄酒的品质随着窖藏时间的推移而发生的变化，并且窖藏一定年份后，葡萄酒的品质会趋于稳定。如下图，2000年的葡萄酒品质最好，窖藏5年左右，葡萄酒品质会趋于稳定。借鉴葡萄酒Vintage分析，信用分析领域不仅可以用它来评估客户好坏充分暴露所需的时间，即成熟期，还可以用它分析不同时期风控策略的差异等。一个客户的好坏，需要经过若干个还款周期后才...

转载 mysql的NULL导致的5个坑

2.distinct 数据丢失当使用count(distinct col1, col2)查询时，如果其中一列为NULL，那么即使另一列有不同的值，那么查询的结果也会将数据丢失，如下 SQL 所示：select count(distinct name,mobile) from person;查询执行结果如下：数据库的原始数据如下：从上述结果可以看出手机号一列的 10 条数据都是不同的，但查询的结果却为 8。3.select 数据丢失如果某列存在NULL值时，如...

转载 B+树的详细介绍

每当我们执行某个 SQL 发现很慢时，都会下意识地反应是否加了索引，那么大家是否有想过加了索引为啥会使数据查找更快呢，索引的底层一般又是用什么结构存储的呢，相信大家看了标题已经有答案了，没错!B+树!那么它相对于一般的链表，哈希等有何不同，为何多数存储引擎都选择使用它呢，今天我就来揭开 B+ 树的面纱，相信看了此文，B+ 树不再神秘，对你理解以下高频面试题会大有帮助!为啥索引常用 B+ 树作为底层的数据结构 除了 B+ 树索引，你还知道什么索引 为啥推荐自增 id 作为主键，自建主键不行吗 什么是

转载 3种分布式锁之mysql锁

概述在单机时代，虽然不需要分布式锁，但也面临过类似的问题，只不过在单机的情况下，如果有多个线程要同时访问某个共享资源的时候，我们可以采用线程间加锁的机制，即当某个线程获取到这个资源后，就立即对这个资源进行加锁，当使用完资源之后，再解锁，其它线程就可以接着使用了。例如，在JAVA中，甚至专门提供了一些处理锁机制的一些API（synchronize/Lock等）。但是到了分布式系统的时代，这种线程之间的锁机制，就没作用了，系统可能会有多份并且部署在不同的机器上，这些资源已经不是在线程之间共享了，而是属于

转载 分布式事务的一致性方案汇总

分布式事务是企业集成中的一个技术难点，也是每一个分布式系统架构中都会涉及到的一个东西，特别是在微服务架构中，几乎可以说是无法避免。ACID指数据库事务正确执行的四个基本要素：原子性（Atomicity） 一致性（Consistency） 隔离性（Isolation） 持久性（Durability）CAPCAP原则又称CAP定理，指的是在一个分布式系统中，一致性（Consistency）、可用性（Availability）、分区容忍性（Partition tolerance）。CAP

转载 一文看懂Mysql的事务

MySQL 事务本文所说的 MySQL 事务都是指在 InnoDB 引擎下，MyISAM 引擎是不支持事务的。数据库事务指的是一组数据操作，事务内的操作要么就是全部成功，要么就是全部失败，什么都不做，其实不是没做，是可能做了一部分但是只要有一步失败，就要回滚所有操作，有点一不做二不休的意思。假设一个网购付款的操作，用户付款后要涉及到订单状态更新、扣库存以及其他一系列动作，这就是一个事务，如果一切正常那就相安无事，一旦中间有某个环节异常，那整个事务就要回滚，总不能更新了订单状态但是不扣库存吧，这问

转载 解决TIME_WAIT过多造成的问题

#netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’ LAST_ACK 14SYN_RECV 348ESTABLISHED 70FIN_WAIT1 229FIN_WAIT2 30CLOSING 33TIME_WAIT 18122 状态：描述CLOSED：无连接是活动的或

原创 如何开发及维护一个可运营性很高的电商系统

1、  一定要逐步考虑安排分库分表(1)  用户表、商品表、订单表等基本表必须要考虑分库分表，要不未来随着量大很容易出现异常。(2)  首页、列表页等聚合页面，通过数据冗余，在分库分表后多写一份，以达到查询时直接使用索引，2秒内返回结果的目的电商99%以上的量都是读，只要通过分库分表和多写些冗余数据的方式就可以提升性能，解决掉目前电商系统的根本问题2、  技术语言前端PHP，后

转载 百度、腾讯和阿里内部的级别和薪资待遇是什么样的？-转自知乎

三大互联网巨头公司，百度腾讯跟阿里如何划分级别？薪资待遇又有多少？除非身居其位，否则很难探知，但是等你到那个位置知道了，却又不能说，至少不能在公开场合谈论。接下来就为大家揭秘，百度、阿里与腾讯内部的级别划分跟薪资待遇。这是一个群众喜闻乐见却又讳莫如深的话题。各个公司头衔名字都不一样，级别的数目也不一样;有些扁平，有些很多level慢慢升;有些薪水范围严格跟级别挂钩，有些薪水跟级别没绝对的关

转载 长志气戒傲气 必须时刻保持冷静

左宗棠是晚清时期著名的军事家、政治家。1874 年，他被任命为钦差大臣，率兵赶赴西北地区平定叛乱。一天，他行走在一条乡间小路上，无意中看见路边悬挂了一面“天下第一棋手”的旗子，有位老者正悠闲地坐在下面布围棋。左宗棠素来擅长下棋，自视棋艺高超难逢对手，如今遇到这么个狂妄的老者，便信心十足地走上前，要与其一决高下。两人各执一方开始对弈。几手下来，左宗棠感到老者棋艺不凡，招招布满了杀机，

原创 互联网公司的运营

好久没写了，最近接触到了一些问题，也觉得蛮有意思的，分享给各位。运营牵扯的东西比较多，包含了业务运营、企业内部运营。1、业务运营：如果业务里包含了要服务的用户(C端用户，或者B端企业)，那么就要精细化的考量。道：大数据分析，会员模型的搭建术：搞各种活动用户包含了2个纬度：拉新和老用户留存。拉新，不仅仅是买个流量，搞个活动把人拉来了就了事，更要关注里面的道道，最近

原创 互联网思维是什么？

好多不同行业的朋友都问过这个问题，今天整理记录下。1、专注并做到极致不断深入到一线，从用户的角度使用自己的产品，不断使用，不断的关注不舒服的地方，关注每个体验细节，关注各个指标的转化率天天用，月月用，找到痛点、痒点。不断关注一线的反馈。2、寻找并提供差异化服务     先学先抄，然后不断的寻找差异，提供不断的微创新，解决痛点、痒点。     就是要让用户用的爽。

转载 企业信息化建设的方方面面

文 /  宁宇春节期间，一个朋友向我吐槽：医护网改了新网站，居然没通知！新网站是晚上8：30开始预约，老网站则是晚上10点开始，不明所以的老用户到10点才打开网站，结果专家号全没了。第二天，医保中心的系统宕机，导致医院无法医保挂号。这位朋友总结说，IT系统快成社会瓶颈了。事实上，不仅IT系统处于这样尴尬的境地，实际上其他信息化手段的发展状况也有诸多问题。

原创 最近的一些感悟

好久没有写了，今天写一些最近几个月的感悟1、积极的心态真的很重要。      如果你觉得自己是弱者，别人很强，自己有可能会失败，那结果多半是失败的。      最近几个月出差去了几个分公司，跟各地的销售跑了下各地的市场，收获颇多。      做的好的城市，精神面貌、心态都很好，也更容易业绩增加。做的稍差的，经常性的把竞争对手挂在嘴边，对方如何如何厉害。      某个城市属于一

转载 做到这六点，你就是公司的宝！

做到这六点，你就是公司的宝！1、不要老想着做不顺就跳槽，哪个公司都有问题，哪个公司都有优点。2、跟对领导很重要，愿意教你的，放手让你做的领导，绝对要珍惜。 3、公司的问题就是你脱颖而出的机会，抱怨和埋怨公司就是打自己耳光，说自己无能，更是在放弃机会！4.心怀感恩之心，感谢公司给你平台，感谢同事给你配合，离开公司你葱都不算一根。 5.为公司创造利润是你存在的核心价值，公司不是

原创 能力的5个等级

转载 工作经验和工作经历区别很大

一个男人在公司干了25年，他每天用同样方法做着同样的工作，每个月都领着同样的薪水。一天，愤愤不平的男人决定要求老板给他加薪及晋升。他对老板说：“毕竟，我已经有了25年的经验。” 老板叹气说：“你不是有25年的经验，你是一个经验用了25年              —— 没有学习与创新，人生必将波澜不惊。

转载 mysql的空值与NULL的区别

Mysql数据库是一个基于结构化数据的开源数据库。SQL语句是MySQL数据库中核心语言。不过在MySQL数据库中执行SQL语句，需要小心两个陷阱。　　陷阱一：空值不一定为空　　空值是一个比较特殊的字段。在MySQL数据库中，在不同的情形下，空值往往代表不同的含义。这是MySQL数据库的一种特性。如在普通的字段中(字符型的数据)，空值就是表示空值。但是如果将一个空值的数据插入到Ti

原创 分布式系统开发里必须要解决的3个技术问题

以前跟开发提过很多次，今天又有人出错了，看样子不经常提不行这里记录一下，看到的开发人员都注意一下：这3个问题经常出现，不解决的话，一定会造成经济损失的1、同一个请求被发送了多次可能出现的地方：(1)和别人接口对接，别人同一份数据发送了多次                                (2)用户在“提交”按钮里点击了多次

原创 浏览器缓存详解:expires,cache-control,last-modified,etag详细说明

最近在对CDN进行优化，对浏览器缓存深入研究了一下，记录一下，方便后来者画了一个草图：每个状态的详细说明如下：1、Last-Modified在浏览器第一次请求某一个URL时，服务器端的返回状态会是200，内容是你请求的资源，同时有一个Last-Modified的属性标记(HttpReponse Header)此文件在服务期端最后被修改的时间，格式类似这样：

原创 刚毕业没几年，别去计较太多得失

看到朋友圈上朋友转发的另一篇文章《关于工作和加班的几句废话》。问答实在有趣，摘录如下：读者的困扰是：1. 刚参加工作没多久，在一家创业公司，第一份工作，几乎天天加班；2. 女朋友为此要闹分手，说不应该为了工作卖命而忽略了她；3. 感觉公司对员工不好，待遇不高，期权也不多，但经理对他不错，给了他不少事情做。 而冯大辉的回答是：这位同学，姑且叫你同学吧，估摸着你不是

原创 做好电商产品运营的10个立足点

昨天参加一个讨论会，干货挺多的，加上自己之前对产品、运营的一些所见所得这里梳理一下。很多电商公司都把产品和运营分成2个部门，有些是合并到一起，各有利弊，也无法明确有个界限，咱这里不讨论讨论一下产品和运营应该做些什么，围绕什么来做产品运营应该负责：1、网站核心流程的优化 ，对于电商来说包含：(1) 注册 (2)登录(3)浏览列表(4)浏览详情页 (5)下单 (6) 支付每

转载 人人网旗下类Pinterest旅游社交网站风车网不到2个月倒闭

之所以转载这篇文章，是因为它对任何一个职业经理人都有很大的借鉴意义看完，心里感触良多，转载给各位一起学习背后的东西 .................................................风车网是人人网旗下类Pinterest旅游社交网站，从3月20日高调上线，到5月17日团队解散，风车网经历了仅仅不到2个月时间。陈晓峰作为原风车网负责人，曾经从业于百度和

原创 mysql命令行执行时不输出列名(字段名)

-N 即可如：mysql -N -e "select * from test"

转载 TCP状态图

TCP 共有9 个网路状态，其中涉及到关闭的状态有5 个。       在我们编写网络相关程序的时候，这5 个状态经常出现。因为这5 个状态相互关联，相互纠缠，而且状态变化触发都是由应用触发，但是又涉及操作系统和网络，所以正确的理解TCP 在关闭时网络状态变化情况，为我们诊断网络中各种问题，快速定位故障有着非常重要的作用和意义。       为此，我根据W.Richard Stevens

转载 andriod的push实现

android push　　android push 是安卓的一种消息推送机制。开发者在开发的时候会有这样的几种实现方案：　　安卓关于消息推送的相关方案介绍　　------我们国内自己的技术实现　　前些时间公司有个项目用到了android push功能，于是在google中狂搜，　　看到好多网友的介绍，我总结了一下几种方案，但其中有一

转载 产品或功能一定不是互联网创新模式的核心，观念才是

编者按：本文作者周宁，宁哲网络科技有限公司创始人，感兴趣的读者可以在微博上@梦里秦淮。但凡规划移动客户端产品，产品经理几乎无不如此说：“这个业务就是LBS+SNS+微博分享，网站上模仿pinterest瀑布流！”听着听着，我的心呀拔凉拔凉的，心中那台创业牺牲者计数器自动+1。有人说，腾讯就是在抄。——能不能不要侮辱马化腾的智慧？看没看到微信的客户端在腾讯体系也是一支独秀，原因何在？

转载 创业公司一鸣惊人的7个绝招

From:   http://tech.huanqiu.com/business/2012-06/2799885.html在互联网创业因为门槛较低，很容易出现红海趋势，创业者每天战战兢兢地守着自己的那方阵地，同时又害怕哪天突然杀出了一匹Pinterest那样的黑马把自己整个措手不及。不想委屈求全，那就来个彻底的改革吧，胜利从来都是属于那些敢于第一个吃螃蟹的人，接下来是献给创业公司的7个绝招

原创 用技术模型来指导公司的“长线运营”

昨天和业内做电商的一个朋友聊天，聊着聊着触发自己想到了一些东西用一句话来概括想法：技术模型来指导公司长期运营(这两天“第一时间” 一直在播的“央视财经50指数”发布一样，也是通过一个趋势模型，来指导用户对大盘的了解，行业不同，但是思想相通)引子：公司的本质是要盈利，盈利的关键就是：收入、支出。 收入包括：流水、VC的投资、广告费用、商户给的其他费用等，也包括一些虚拟的：公司的正

转载 做移动互联网需要解决的10个问题

06年由于我做的项目需要，开始关注手机客户端，开始关注移动互联网这个行业，经历了Symbian和Winmobile的没落，也见证了Iphone和Android的崛起。在关注中对这个行业也产生了浓厚的兴趣，在大量的使用、体验了各家的移动互联网产品之后，对移动应用产品也有了更深的理解。    首先在产品立项之前要充分评估产品的机会，以及整个市场的环境。如何评估产品机会的好坏，我引用美国著名产品

原创 公司里从员工到经理，不同层级应该关注的事情

最近在看《领导梯队》，超级棒的一本书，受益匪浅，推荐给各位从事管理方向的朋友第一阶段：从管理自我到管理他人（leader级）　　新员工工作的最初几年是个人贡献者。无论他们从事的是销售、会计、工程或是市场工作，对他们能力的要求主要是专业化和职业化。他们通过在计划时间内完成任务来做出贡献，通过不断拓展和提升个人技能，在岗位上做出更大贡献，从而获得组织的提升。随着工作年限的增

转载 HP（惠普）大中华区总裁孙振耀退休感言

一、关于工作与生活我有个有趣的观察，外企公司多的是25-35岁的白领，40岁以上的员工很少，二三十岁的外企员工是意气风发的，但外企公司40岁附近的经理人是很尴尬的。我见过的40岁附近的外企经理人大多在一直跳槽，最后大多跳到民企，比方说，唐骏。外企员工的成功很大程度上是公司的成功，并非个人的成功，西门子的确比国美大，但并不代表西门子中国经理比国美的老板强，甚至可以说差得很远。而进外企的人往往并不

转载 李开复：领导力是一种独特艺术

新世纪需要我们用一种更平等、均衡，更富有创造力的心态来认识、理解和实践领导力。为了从一个传统的“管理者”转变为一名成功的“领导”，我们最需要做的不是完成既定的任务，不是设计好团队的组织结构，也不是熟练地发号施令，而是为所有员工营造一种充满激情和创新的环境。领导力不是一种方法或技能，而是一种独特的艺术。　　愿景比管控更重要　　愿景就是公司对自身长远发展和终极目标的规划和描述。缺乏理想与愿景指

转载 mongodb地理位置索引实现原理

地理位置索引支持是MongoDB的一大亮点，这也是全球最流行的LBS服务foursquare 选择MongoDB的原因之一。我们知道，通常的数据库索引结构是B+ Tree，如何将地理位置转化为可建立B+Tree的形式，下文将为你描述。首先假设我们将需要索引的整个地图分成16×16的方格，如下图（左下角为坐标0,0 右上角为坐标16,16）： 单纯的［x，y］的数据是无法建立索引的，

原创 MongoDB & Redis资料汇总

MongoDB资料汇总专题http://blog.nosqlfan.com/html/3548.htmlRedis资料汇总专题http://blog.nosqlfan.com/html/3537.html

转载 Redis详细介绍

虽然Redis已经很火了，相信还是有很多同学对Redis只是有所听闻或者了解并不全面，下面是一个比较系统的Redis介绍，对Redis的特性及各种数据类型及操作进行了介绍。是一个很不错的Redis入门教程。1.介绍1.1 Redis是什么REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。Red

转载 某大型社区网站系统

流量集中大部分bbs的流量都是冷热不均，相差很大，热帖一天可达数百万访问，冷贴就是一个访问量也没有。热帖主要是在列表第一版的帖子，和精华贴，这些帖子的流量加起来至少占到整个bbs流量的50%以上。虽然热帖占了很大流量，但这些热帖的数量不会太多，所以用缓存架构的话对这些热帖优化程度就很大，对热帖优化程度大相当于对整个系统优化程度大。实时性每发或回复一张贴，就必须让这张贴立刻发

转载 Hbase介绍

转自：http://www.tbdata.org/archives/1509/comment-page-1#comment-5338started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as

转载 Redis:九、redis使用场景

传统MySQL+ Memcached架构遇到的问题　　实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：　　1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。　　2.Mem