chengwenyao18-CSDN博客

原创 [笔记] 大型网站技术架构——核心原理与案例分析 [十]

15 网站架构师职场攻略15.1 发现问题，寻找突破15.2 提出问题，寻求支持注意表达方式15.3 解决问题，达成绩效16 漫话网站架构师16.1 按作用划分架构师设计型架构师：也就是传统意义上的架构师，负责系统架构设计，同时也要负责架构的实施落地、演化发展、推广重构。救火型架构师步道型架构师Geek型架构师16.2 按效果划分架构师夏尔巴

2015-12-14 13:53:32 837

原创 [笔记] 大型网站技术架构——核心原理与案例分析 [九]

第四篇架构师14 架构师领导艺术14.1 关注人而不是产品“一群优秀的人做一件他们热爱的事，一定能取得成功。”寻找一个值得共同奋斗的目标，营造一个让大家都能最大限度发挥自我价值的工作氛围。14.2 发掘人的优秀是事情成就了人，而不是人成就了事。发掘人的优秀远比发掘优秀的人更有意义。14.3 共享美好蓝图蓝图应该是表述清楚的蓝图应该是形象的蓝图应该是简单

2015-12-14 13:29:53 588

原创 [笔记] 大型网站技术架构——核心原理与案例分析 [八]

8 固若金汤：网站的安全架构8.1 道高一尺魔高一丈的网站应用攻击与防御8.1.1 XSS攻击8.1.2 注入攻击8.1.3 CSRF攻击8.1.4 其他攻击和漏调Error CodeHTML注释文件上传路径遍历8.1.5 Web应用防火墙ModSecurity8.1.6 网站安全漏洞扫描8.2 信息加密技术及密钥安全管理通常，为了保护网站的

2015-12-14 13:18:36 626

原创 [笔记] 大型网站技术架构——核心原理与案例分析 [七]

7 随需应变：网站的可扩展架构扩展性：指对现有系统影响最小的情况下，系统功能可持续扩展或提升的能力。伸缩性：指系统能够通过增加（减少）自身资源规模的方式增强（减少）自己计算处理事务的能力。7.1 构建可扩展的网站架构设计网站可扩展架构的核心思想是模块化，并在此基础上，降低模块间的耦合性，提高模块的复用性。模块分布式部署以后具体聚合方式主要由分布式消息队列和分布式服务。7.2

2015-12-13 14:25:37 704

原创 [笔记] 大型网站技术架构——核心原理与案例分析 [六]

6 永无止境：网站的伸缩性架构6.1 网站架构的伸缩性设计一般说来，网站的伸缩性设计可分为两类，一类是根据功能进行物理分离实现伸缩；一类是单一功能通过集群实现伸缩。前者是不同的服务器部署不同的服务，提供不同的功能；后者是集群内的多台服务器部署相同的服务，提供相同的功能。6.1.1 不同功能进行物理分离实现伸缩每次分离都会有更多的服务器加入网站，使用新增的服务器处理某种特定的服务。具

2015-12-13 13:54:13 704

原创 [笔记] 大型网站技术架构——核心原理与案例分析 [五]

5 万无一失：网站的高可用架构5.1 网站可用性的度量与考核5.1.1 网站可用性度量5.1.2 网站可用性考核5.2 高可用的网站架构数据和服务的冗余备份及失效转移。在复杂的大型网站架构中，模块划分的粒度会更小、更详细，结构更加复杂，服务器规模更加庞大。不同的业务产品会部署在不同的服务器集群上。5.3 高可用的应用5.3.1 通过负载均衡进行无状态服务的失效转移

2015-12-11 15:18:14 620

原创 [笔记] 大型网站技术架构——核心原理与案例分析 [四]

第二篇架构4 瞬时响应：网站的高性能架构

2015-12-10 22:49:54 575

原创 [笔记] 大型网站技术架构——核心原理与案例分析 [三]

3 大型网站核心架构要素系统的各个重要组成部分及其关系构成了系统的架构。一般来说，除了当前的系统功能需求外，软件架构还需要关注性能、可用性、伸缩性、扩展性和安全性这5个架构要素。3.1 性能CDN、服务器本地缓存、分布式缓存、异步操作、服务集群、多线程、索引、缓存、SQL优化......3.2 可用性（冗余）3.3 伸缩性（NoSQL）3.4 扩展性网站可伸缩架构的主要

2015-12-10 22:47:18 505

原创 [笔记] 大型网站技术架构——核心原理与案例分析 [二]

2 大型网站架构模式模式的关键在于模式的可重复性，问题与场景的可重复性带来解决方案的可重复使用（类似于设计模式中的模式）。2.1 网站架构模式2.1.1 分层将系统在横向维度上切分成几个部分，每个部分负责一部分相对比较单一的职责，然后通过上层对下层的依赖和调用组成一个完整的系统。在大型网站架构中也采用分层结构，将网站软件系统分为应用层、服务层、数据层。优势：便于分工合作开发

2015-12-10 22:28:52 650

原创 [笔记] 大型网站技术架构——核心原理与案例分析 [一]

第一篇概述1 大型网站架构演化动机：如何打造一个高可用、高性能、易扩展、可伸缩且安全的网站？如何让网站随应用所需灵活变动？1.1 大型网站软件系统的特点a. 高并发，大流量b. 高可用c. 海量数据d. 用户分布广泛，网络情况复杂e. 安全环境恶劣f. 需求快速变更，发布频繁g. 渐进式发展（由小做大。好的互联网产品都是慢慢运营出来的，而不是一开始就开发好

2015-12-10 21:58:39 846

原创 2 个有序List的交集

import java.util.ArrayList;import java.util.List;public class CommSortSet { public static List solution(List list1, List list2){ List result = new ArrayList(); int length = Math.min(list1.size

2015-08-19 13:42:44 460

转载 Java transient关键字使用小记

From: http://www.cnblogs.com/lanxuezaipiao/p/3369962.html哎，虽然自己最熟的是Java，但很多Java基础知识都不知道，比如transient关键字以前都没用到过，所以不知道它的作用是什么，今天做笔试题时发现有一题是关于这个的，于是花个时间整理下transient关键字的使用，涨下姿势~~~好了，废话不多说，下面开始：1

2015-08-06 10:23:17 343

转载 Eclipse workspace error

From：https://bemino.wordpress.com/2013/03/08/eclipse-workspace-error/Sometime when you opened your workspace in Eclipse, and you got the errorAn error has occurred. See the log file …!EN

2015-07-08 12:04:40 1270

原创 Hadoop面试题集锦

1. Hadoop 文件副本存放的位置策略2. Hadoop安全模式

2015-07-02 18:13:59 440

原创圆圈中最后剩下的数字

import java.util.ArrayList;import java.util.List;public class LastRemaining { static class Node{ public Node(int value, int flag, Node next) { super(); this.value = value; this.flag = f

2015-06-28 13:41:33 457

转载 [HBase] LSM树 VS B+树

From: http://blog.csdn.net/dbanote/article/details/8897599LSM树是HBase里非常有创意的一种数据结构，它和传统的B+树不太一样，下面先说说B+树。1 B+树相信大家对B+树已经非常的熟悉，比如Oracle的普通索引就是采用B+树的方式，下面是一个B+树的例子：根节点和枝节点很简单，分别记录每个叶子节点

2015-06-26 13:28:24 643

转载 Java多线程:线程状态

From：http://blog.csdn.net/huang_xw/article/details/7316354一. 线程状态类型1. 新建状态（New）：新创建了一个线程对象。2. 就绪状态（Runnable）：线程对象创建后，其他线程调用了该对象的start()方法。该状态的线程位于可运行线程池中，变得可运行，等待获取CPU的使用权。3. 运行状态（Running）：就

2015-06-24 19:27:59 408

转载 LSM树由来、设计思想以及应用到HBase的索引

From：http://www.cnblogs.com/yanghuahui/p/3483754.html讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来：哈希存储引擎是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显

2015-06-17 21:46:38 480

原创求一个全排列函数

px; ">求一个全排列函数：如 p([1,2,3])输出：[123]、 [132]、 [213]、 [231]、 [321]、 [323]public class ComposeArr { public static void solution(int[] a, int start, int end) { if (null == a) { return; }

2015-06-10 22:04:34 953

原创链表相邻元素翻转

链表相邻元素翻转，如 a->b->c->d->e->f-g，翻转后变为： b->a->d->c->f->e->gimport java.util.ArrayList;import java.util.List;class Node{ char value; Node next; public Node(){ } public Node(char value, Node n

2015-06-10 13:52:40 433

原创求正整数 n 所有可能的和式的组合

求正整数 n 所有可能的和式的组合（如； 4=1+1+1+1、 1+1+2、 1+3、 2+1+1、2+2）import java.util.ArrayList;import java.util.List;public class PrintSubArr { static List tmp = new ArrayList(); public static void solutio

2015-06-09 21:53:19 1019

转载谷歌面试题:数组元素移动交叉

题目：输入数组：{a1,a2,…,an,b1,b2,…,bn}, 在O(n)的时间,O(1)的空间将这个数组的顺序变为{a1,b1,a2,b2,a3,b3,…,an,bn}，且不需要移动，通过交换完成，只需一个交换空间。解答：从结果入手，结果数组的中垂线两边分别a数组的一半和b数组的一半的混合，继续将子数组以中垂线划分下去，可以看到类似的规律，因此，可以使用类似的分治算法实现。p

2015-06-09 10:57:06 514

原创给定一个存放整数的数组，重新排列数组使得数组左边为奇数，右边为偶数。

给定一个存放整数的数组，重新排列数组使得数组左边为奇数，右边为偶数。要求：空间复杂度 O(1)，时间复杂度为 O（ n）。import java.util.ArrayList;import java.util.List;public class ExchangeOddEven { public static void solution(List list){ if(null

2015-06-09 10:45:10 2789 2

原创整数的素数和分解问题

歌德巴赫猜想说任何一个不小于 6 的偶数都可以分解为两个奇素数之和。对此问题扩展，如果一个整数能够表示成两个或多个素数之和，则得到一个素数和分解式。对于一个给定的整数，输出所有这种素数和分解式。注意，对于同构的分解只输出一次（比如 5 只有一个分解 2 + 3，而 3 + 2 是 2 + 3 的同构分解式）。例如，对于整数 8，可以作为如下三种分解：(1) 8 = 2 +

2015-06-09 10:36:15 798

原创求最大重叠区间大小

题目描述：请编写程序，找出下面“输入数据及格式”中所描述的输入数据文件中最大重叠区间的大小。对一个正整数 n ，如果 n 在数据文件中某行的两个正整数（假设为 A 和 B）之间，即 A=n>=B ，则 n 属于该行；如果 n 同时属于行 i 和 j ，则 i 和 j 有重叠区间；重叠区间的大小是同时属于行 i 和 j 的整数个数。例如，行（ 10 20）和（ 12 25）的重叠

2015-06-09 10:11:39 1351

原创最长递增子序列

题目描述：设 L=是 n 个不同的实数的序列， L 的递增子序列是这样一个子序列Lin=，其中 k1求最大的 m 值。import java.util.ArrayList;import java.util.List;public class MaxIncreaseLen { public static int solution(List list){ if(

2015-06-09 09:46:47 347

原创字符串原地压缩

题目描述：“ eeeeeaaaff" 压缩为 "e5a3f2"，请编程实现。public class StringCompress { public static String solution(String str){ if(null == str){ return null; } if(1==str.length()){ return str; }

2015-06-09 09:46:27 596

转载网易游戏笔试题─两个圆相交，交点是A1，A2。现在过A1点做一直线与两个圆分别相交另外一点B1，B2。 B1B2可以绕着A1点旋转。问在什么情况下，B1B2最长

From：http://blog.csdn.net/iamzhaiwei/article/details/7685143两个圆相交，交点是A1，A2。现在过A1点做一直线与两个圆分别相交另外一点B1，B2。B1B2可以绕着A1点旋转。问在什么情况下，B1B2最长？设两个圆的圆心分别为O1，O2。作O1C垂直于B1B2，O2D垂直于B1B2。|B1B2| = |A1B1| + |A1B2

2015-06-08 21:56:21 1507

原创对称子字符串的最大长度

对称子字符串的最大长度题目：输入一个字符串，输出该字符串中对称的子字符串的最大长度。比如输入字符串“ google”，由于该字符串里最长的对称子字符串是“ goog”，因此输出 4。分析：可能很多人都写过判断一个字符串是不是对称的函数，这个题目可以看成是该函数的加强版。/** * 对称子字符串的最大长度题目：输入一个字符串，输出该字符串中对称的子字符串的最大长度。比如输入

2015-06-08 21:18:56 456

转载输入两个整数n 和m，从数列1，2，3.......n 中随意取几个数, 使其和等于m ,要求将其中所有的可能组合列出来

From：http://blog.csdn.net/pediy_yuhan/article/details/32934665?utm_source=tuicool中兴面试题之一，难度系数中。题目描述如下：输入两个整数n 和m，从数列1，2，3.......n 中随意取几个数，使其和等于m ，要求将其中所有的可能组合列出来。逻辑分析：1、比起微软，google，百度这些公

2015-05-30 19:43:19 1289

转载求有环单链表中的环长、环起点、链表长

From：http://www.cnblogs.com/xudong-bupt/p/3667729.html求有环单链表中的环长、环起点、链表长1.判断单链表是否有环　　使用两个slow, fast指针从头开始扫描链表。指针slow 每次走1步，指针fast每次走2步。如果存在环，则指针slow、fast会相遇；如果不存在环，指针fast遇到NULL退出。　　就是所谓的

2015-05-30 14:39:08 435

11、死锁的条件。（互斥条件（Mutual exclusion）：1、资源不能被共享，只能由一个进程使用。2、请求与保持条件（Hold and wait）：已经得到资源的进程可以再次申请新的资源。3、非剥夺条件（No pre-emption）：已经分配的资源不能从相应的进程中被强制地剥夺。4、循环等待条件（Circular wait）：系统中若干进程组成环路，该环路中每个进程都在等待相邻进程正占用

2015-05-29 14:48:55 734

转载阿里巴巴历年笔试面试70题 [6-10]

6、25匹赛马，5个跑道，也就是说每次有5匹马可以同时比赛。问最少比赛多少次可以知道跑得最快的5匹马。将马分成A、B、C、D、E五组。第1-5次比赛：各组分别进行比赛，决出各组名次A1、A2、A3、A4、A5，B1、B2、B3、B4、B5，。。。。。。。。。。E4、E5。第6次比赛：A1、B1、C1、D1、E1，第一名是跑的最快的。第7次比赛：将上次第一名所

2015-05-29 14:22:35 819

转载阿里巴巴历年笔试面试70题 [1-5]

1、澳大利亚的父母喜欢女孩，如果生出来的第一个女孩，就不再生了，如果是男孩就继续生，直到生到第一个女孩为止，问若干年后，男女的比例是多少？如果生出来的第一个是女孩，就不再生了，如果是男孩就继续生，直到生到第一个女孩为止。若设某家庭的baby数为X，随机变量X应符合几何分布。p(X=1)= 1/2：第一个就是女孩；p(X=2) = 1/2 * 1/2：第一个是男孩，第二个是女孩

2015-05-29 13:43:30 1015

转载 Mutual information and Normalized Mutual information 互信息和标准化互信息

From: http://www.cnblogs.com/ziqiao/archive/2011/12/13/2286273.html实验室最近用到nmi( Normalized Mutual information )评价聚类效果,在网上找了一下这个算法的实现,发现满意的不多.浙江大学蔡登教授有一个，http://www.zjucadcg.cn/dengcai/Data/code

2015-05-22 10:18:50 12448

转载 Java并发编程：深入剖析ThreadLocal

From: http://www.cnblogs.com/dolphin0520/p/3920407.html想必很多朋友对ThreadLocal并不陌生，今天我们就来一起探讨下ThreadLocal的使用方法和实现原理。首先，本文先谈一下对ThreadLocal的理解，然后根据ThreadLocal类的源码分析了其实现原理和使用需要注意的地方，最后给出了两个应用场景。　　以下是本

2015-05-18 10:34:27 404

转载 Flume-0.9.4分布式安装与配置手册

From: http://www.iteblog.com/archives/9112014 Spark亚太峰会会议资料下载、《Hadoop从入门到上手企业开发视频下载[70集]》、《炼数成金-Spark大数据平台视频百度网盘免费下载》、《Spark 1.X 大数据平台V2百度网盘下载[完整版]》、《深入浅出Hive视频教程百度网盘免费下载》　　Flume是一个分布式、

2015-05-15 13:28:45 415

转载 synchronized和lock(reentrantlock) 区别

From：http://blog.csdn.net/ningguixin/article/details/23950521synchronized是托管给JVM执行的，而lock是java写的控制锁的代码。在Java1.5中，synchronize是性能低效的。因为这是一个重量级操作，需要调用操作接口，导致有可能加锁消耗的系统时间比加锁以外的操作还多。相比之下使用Java提供的Lock

2015-05-14 10:12:31 877

转载 Java线程池使用说明

From：http://automaticthoughts.iteye.com/blog/1612388一简介线程的使用在java中占有极其重要的地位，在jdk1.4极其之前的jdk版本中，关于线程池的使用是极其简陋的。在jdk1.5之后这一情况有了很大的改观。Jdk1.5之后加入了java.util.concurrent包，这个包中主要介绍java中线程以及线程池的使用。为

2015-05-13 10:21:58 499

转载 PageRank算法简介及Map-Reduce实现

From:http://www.cnblogs.com/fengfenggirl/p/pagerank-introduction.htmlPageRank对网页排名的算法，曾是Google发家致富的法宝。以前虽然有实验过，但理解还是不透彻，这几天又看了一下，这里总结一下PageRank算法的基本原理。一、什么是pagerank　　PageRank的Page可是认为是网页，表

2015-05-11 12:20:13 474