sun's blog

看到一篇关于云的文章，挺形象，链接：http://www.zhihu.com/question/21641778/answer/62523535云服务”现在已经快成了一个家喻户晓的词了。如果你不知道PaaS, IaaS 和SaaS的区别，那么也没啥，因为很多人确实不知道。　　“云”其实是互联网的一个隐喻，“云计算”其实就是使用互联网来接入存储或者运行在远程服务器端的应用，数据，或者服务。　　任何...

注：以下内容摘自;http://www.cnblogs.com/artech/p/restful-web-api-02.htmlWeb服务已经成为了异质系统之间的互联与集成的主要手段，在过去一段不短的时间里，Web服务几乎清一水地采用SOAP来构建。构建REST风格的Web服务是最近两三年风行的潮流，所以很多人以为REST是一个事物。而事实却是：REST自其诞生之日起到现在（2014年）已...

注：以下内容摘自：http://www.cnblogs.com/artech/p/restful-web-api-01.htmlREST不是一个标准，而是一种软件应用架构风格。基于SOAP的Web服务采用RPC架构，如果说RPC是一种面向操作的架构风格，而REST则是一种面向资源的架构风格。REST是目前业界更为推崇的构建新一代Web服务（或者Web API）的架构风格。由于REST仅仅是...

注：以下内容摘自：http://blog.csdn.net/bluishglc/article/details/76128111.XA XA是由X/Open组织提出的分布式事务的规范。XA规范主要定义了(全局)事务管理器(Transaction Manager)和(局部)资源管理器(Resource Manager)之间的接口。XA接口是双向的系统接口，在事务管理器（Transac...

注：以下内容摘自：http://blog.csdn.net/bluishglc/article/details/76128111.XA XA是由X/Open组织提出的分布式事务的规范。XA规范主要定义了(全局)事务管理器(Transaction Manager)和(局部)资源管理器(Resource Manager)之间的接口。XA接口是双向的系统接口，在事务管理器（Transac...

注：以下内容摘自http://www.jianshu.com/p/231874bfb0e8 我相信，通过我的生动分析，你会对苏宁、国美、京东有入目三分的认识！不是我自吹，我这篇文章至少值1000块钱，因为老夫做过生意，知道其中的关键之处，和天天读新闻只知道装B的家伙完全不一样！没人能用这么生动的语言、讲清楚这么重要的问题！现金流，知道对做生意的有多重要吗？上一篇我已经说了，国美...

注:以下内容摘自：http://segmentfault.com/blogs Spark是基于内存的分布式计算引擎，以处理的高效和稳定著称。然而在实际的应用开发过程中，开发者还是会遇到种种问题，其中一大类就是和性能相关。在本文中，笔者将结合自身实践，谈谈如何尽可能地提高应用程序性能。分布式计算引擎在调优方面有四个主要关注方向，分别是CPU、内存、网络开销和I/O，其具体调优目标如下...

RDD是Spark中对数据和计算的抽象，是Spark中最核心的概念，它表示已被分片（partition），不可变的并能够被并行操作的数据集合。对RDD的操作分为两种transformation和action。Transformation操作是通过转换从一个或多个RDD生成新的RDD。Action操作是从RDD生成最后的计算结果。在Spark中，提供丰富的transformation和a...

Spark join有两种方式:map-side join和reduce-side join1、Map-side Join使用场景是一个大表和一个小表的连接操作，其中，“小表”是指文件足够小，可以加载到内存中。该算法可以将join算子执行在Map端，无需经历shuffle和reduce等阶段，因此效率非常高。在Hadoop MapReduce中， map-side join是借助Dist...

注：以下内容摘自:http://www.jianshu.com/p/bde93f9d1469 一、什么是可伸缩性可伸缩性是一种对软件系统计算处理能力的设计指标，高可伸缩性代表一种弹性，在系统扩展成长的过程中，软件能够保证旺盛的生命力，通过很少的改动甚至只是硬件设置的添置，就能实现整个系统能力的线性增长，实现高吞吐量和低延迟性能。 二、可伸缩性和纯粹性能调优是有区别的：可...

docker 镜像(image),容器(container)两者是互相转化的关系， 前者是一种【过去式】，后者是【进行时】， 镜像就好像是 git 的 tag 标签，是已经打上烙印， 是可以回滚回去的。 后者就是正在运行的状态，是基于镜像的。比如我们对镜像 ImageA（镜像 ImageA 是静止状态）启动起来， 启动后就变成了 ContainerA 容器（运行状态）， 当我们对该容器...

Docker应用容器相对于 VM 有以下几个优点：1、启动速度快，容器通常在一秒内可以启动，而 VM 通常要更久2、资源利用率高，一台普通PC 可以跑上千个容器，你跑上千个 VM 试试3、性能开销小， VM 通常需要额外的 CPU 和内存来完成 OS 的功能，这一部分占据了额外的资源因为VM 的 Hypervisor 需要实现对硬件的虚拟化，并且还要搭载自己的操作系统，自然在启...

注:以下内容摘自:http://blog.chinaunix.net/uid-7374279-id-4413214.html先说区别：一句话：分布式是并联工作的，集群是串联工作的。1：分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起，实现同一业务。 分布式中的每一个节点，都可以做集群。 而集群并不一定就是分布式的。 举例：就比如新浪网，访问的人多了，他可以做一个群...

Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型：1. 随机分组（Shuffle grouping）：随机分发tuple到Bolt的任务，保证每个任务获得相等数量的tuple。2. 字段分组（Fields grouping）：根据指定字段分割数据流，并分组。例如，根据“user-id”字段，相同“user...

storm是我接触并在项目中用到的第一个实时计算框架，做下总结：一、首先如果如果让我们自己设 计一个实时计算系统，我们要解决哪些问题？1、低延迟。都说了是实时计算系统了，延迟是一定要低的。2、高性能。性能不高就是浪费机器。3、分布式。系统都是为应用场景而生的，如果你的应用场景、你的数据和计算单机就能搞定，那么不用考虑这些复杂的问题了。我们所说的是单机搞不定的情况。4、可扩展...

原文链接：http://blog.csdn.net/gugemichael/article/details/36688043一、分布式系统中的概念三元组：其实，分布式系统说白了，就是很多机器组成的集群，靠彼此之间的网络通信，担当的角色可能不同，共同完成同一个事情的系统。如果按”实体“来划分的话，就是如下这几种：1、节点 -- 系统中按照协议完成计算工作的一个逻辑实体，可能是执行某些...

一、TCP连接：当网络通信时采用TCP协议时，在真正的读写操作之前，server与client之间必须建立一个连接，当读写操作完成后，双方不再需要这个连接时它们可以释放这个连接，连接的建立是需要三次握手的，而释放则需要4次握手，所以说每个连接的建立都是需要资源消耗和时间消耗的。 三次握手（Three-Way Handshake）即建立TCP连接，就是指建立一个TCP连接时，需要客户...

注：以下内容摘自网络！Docker 是一种“轻量级”容器技术，它几乎动摇了传统虚拟化技术的地位，现在国内外已经有越来越多的公司开始逐步使用 Docker 来替换现有的虚拟化平台了。作为一名 Java 程序员，我们是时候一起把 Docker 学起来了！本文会对虚拟化技术与 Docker 容器技术做一个对比，然后引出一些 Docker 的名词术语，比如：容器、镜像等。我们先来回顾一下传...

1、在HDFS中，fsimage和eidts是NameNode两个非常重要的文件。其中，fsimage是HDFS文件系统存于硬盘中的元数据检查点，里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息；而edits保存了自最后一次检查点之后所有针对HDFS文件系统的操作，比如：增加文件、重命名文件、删除目录等等。2、在NameNode启动时候，会先将fsimage中...