- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 IAAS,PAAS,SAAS
看到一篇关于云的文章，挺形象，链接：http://www.zhihu.com/question/21641778/answer/62523535云服务”现在已经快成了一个家喻户晓的词了。如果你不知道PaaS, IaaS 和SaaS的区别，那么也没啥，因为很多人确实不知道。 “云”其实是互联网的一个隐喻，“云计算”其实就是使用互联网来接入存储或者运行在远程服务器端的应用，数据，或者服务。 任何...
2016-01-28 10:15:44
4011
原创 REST-WEB-2
注：以下内容摘自;http://www.cnblogs.com/artech/p/restful-web-api-02.htmlWeb服务已经成为了异质系统之间的互联与集成的主要手段，在过去一段不短的时间里，Web服务几乎清一水地采用SOAP来构建。构建REST风格的Web服务是最近两三年风行的潮流，所以很多人以为REST是一个事物。而事实却是：REST自其诞生之日起到现在（2014年）已...
2016-01-27 16:46:18
180
原创 REST-WEB-1
注：以下内容摘自：http://www.cnblogs.com/artech/p/restful-web-api-01.htmlREST不是一个标准，而是一种软件应用架构风格。基于SOAP的Web服务采用RPC架构，如果说RPC是一种面向操作的架构风格，而REST则是一种面向资源的架构风格。REST是目前业界更为推崇的构建新一代Web服务（或者Web API）的架构风格。由于REST仅仅是...
2016-01-27 16:44:06
170
分布式事务
注：以下内容摘自：http://blog.csdn.net/bluishglc/article/details/76128111.XA XA是由X/Open组织提出的分布式事务的规范。XA规范主要定义了(全局)事务管理器(Transaction Manager)和(局部)资源管理器(Resource Manager)之间的接口。XA接口是双向的系统接口，在事务管理器（Transac...
2016-01-27 14:35:18
166
原创 现金流的秘密[转]
注：以下内容摘自http://www.jianshu.com/p/231874bfb0e8 我相信，通过我的生动分析，你会对苏宁、国美、京东有入目三分的认识！不是我自吹，我这篇文章至少值1000块钱，因为老夫做过生意，知道其中的关键之处，和天天读新闻只知道装B的家伙完全不一样！没人能用这么生动的语言、讲清楚这么重要的问题！现金流，知道对做生意的有多重要吗？上一篇我已经说了，国美...
2016-01-21 09:11:29
371
原创 spark性能调优
注:以下内容摘自：http://segmentfault.com/blogs Spark是基于内存的分布式计算引擎，以处理的高效和稳定著称。然而在实际的应用开发过程中，开发者还是会遇到种种问题，其中一大类就是和性能相关。在本文中，笔者将结合自身实践，谈谈如何尽可能地提高应用程序性能。分布式计算引擎在调优方面有四个主要关注方向，分别是CPU、内存、网络开销和I/O，其具体调优目标如下...
2016-01-21 09:11:11
135
原创 spark RDD
RDD是Spark中对数据和计算的抽象，是Spark中最核心的概念，它表示已被分片（partition），不可变的并能够被并行操作的数据集合。对RDD的操作分为两种transformation和action。Transformation操作是通过转换从一个或多个RDD生成新的RDD。Action操作是从RDD生成最后的计算结果。在Spark中，提供丰富的transformation和a...
2016-01-20 10:18:06
156
spark join
Spark join有两种方式:map-side join和reduce-side join1、Map-side Join使用场景是一个大表和一个小表的连接操作，其中，“小表”是指文件足够小，可以加载到内存中。该算法可以将join算子执行在Map端，无需经历shuffle和reduce等阶段，因此效率非常高。在Hadoop MapReduce中， map-side join是借助Dist...
2016-01-20 10:08:06
468
原创 可伸缩性、可扩展性、缓存可扩展性
注：以下内容摘自:http://www.jianshu.com/p/bde93f9d1469 一、什么是可伸缩性可伸缩性是一种对软件系统计算处理能力的设计指标，高可伸缩性代表一种弹性，在系统扩展成长的过程中，软件能够保证旺盛的生命力，通过很少的改动甚至只是硬件设置的添置，就能实现整个系统能力的线性增长，实现高吞吐量和低延迟性能。 二、可伸缩性和纯粹性能调优是有区别的：可...
2016-01-20 09:29:52
900
原创 docker镜像和容器
docker 镜像(image),容器(container)两者是互相转化的关系， 前者是一种【过去式】，后者是【进行时】， 镜像就好像是 git 的 tag 标签，是已经打上烙印， 是可以回滚回去的。 后者就是正在运行的状态，是基于镜像的。比如我们对镜像 ImageA（镜像 ImageA 是静止状态）启动起来， 启动后就变成了 ContainerA 容器（运行状态）， 当我们对该容器...
2016-01-19 09:27:10
153
docker使用场景
Docker应用容器相对于 VM 有以下几个优点：1、启动速度快，容器通常在一秒内可以启动，而 VM 通常要更久2、资源利用率高，一台普通PC 可以跑上千个容器，你跑上千个 VM 试试3、性能开销小， VM 通常需要额外的 CPU 和内存来完成 OS 的功能，这一部分占据了额外的资源因为VM 的 Hypervisor 需要实现对硬件的虚拟化，并且还要搭载自己的操作系统，自然在启...
2016-01-19 09:24:05
142
分布式与集群
注:以下内容摘自:http://blog.chinaunix.net/uid-7374279-id-4413214.html先说区别：一句话：分布式是并联工作的，集群是串联工作的。1：分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起，实现同一业务。 分布式中的每一个节点，都可以做集群。 而集群并不一定就是分布式的。 举例：就比如新浪网，访问的人多了，他可以做一个群...
2016-01-18 14:46:59
95
Storm分组机制
Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型：1. 随机分组（Shuffle grouping）：随机分发tuple到Bolt的任务，保证每个任务获得相等数量的tuple。2. 字段分组（Fields grouping）：根据指定字段分割数据流，并分组。例如，根据“user-id”字段，相同“user...
2016-01-15 15:58:27
190
Storm架构
storm是我接触并在项目中用到的第一个实时计算框架，做下总结：一、首先如果如果让我们自己设 计一个实时计算系统，我们要解决哪些问题？1、低延迟。都说了是实时计算系统了，延迟是一定要低的。2、高性能。性能不高就是浪费机器。3、分布式。系统都是为应用场景而生的，如果你的应用场景、你的数据和计算单机就能搞定，那么不用考虑这些复杂的问题了。我们所说的是单机搞不定的情况。4、可扩展...
2016-01-15 15:54:00
162
原创 分布式
原文链接：http://blog.csdn.net/gugemichael/article/details/36688043一、分布式系统中的概念三元组：其实，分布式系统说白了，就是很多机器组成的集群，靠彼此之间的网络通信，担当的角色可能不同，共同完成同一个事情的系统。如果按”实体“来划分的话，就是如下这几种：1、节点 -- 系统中按照协议完成计算工作的一个逻辑实体，可能是执行某些...
2016-01-15 15:24:12
130
原创 TCP长连接、短连接
一、TCP连接：当网络通信时采用TCP协议时，在真正的读写操作之前，server与client之间必须建立一个连接，当读写操作完成后，双方不再需要这个连接时它们可以释放这个连接，连接的建立是需要三次握手的，而释放则需要4次握手，所以说每个连接的建立都是需要资源消耗和时间消耗的。 三次握手（Three-Way Handshake）即建立TCP连接，就是指建立一个TCP连接时，需要客户...
2016-01-11 14:39:43
304
原创 虚拟化技术docker
注：以下内容摘自网络！Docker 是一种“轻量级”容器技术，它几乎动摇了传统虚拟化技术的地位，现在国内外已经有越来越多的公司开始逐步使用 Docker 来替换现有的虚拟化平台了。作为一名 Java 程序员，我们是时候一起把 Docker 学起来了！本文会对虚拟化技术与 Docker 容器技术做一个对比，然后引出一些 Docker 的名词术语，比如：容器、镜像等。我们先来回顾一下传...
2016-01-09 10:33:00
254
原创 hadoop hdfs fsimage和eidts
1、在HDFS中，fsimage和eidts是NameNode两个非常重要的文件。其中，fsimage是HDFS文件系统存于硬盘中的元数据检查点，里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息；而edits保存了自最后一次检查点之后所有针对HDFS文件系统的操作，比如：增加文件、重命名文件、删除目录等等。2、在NameNode启动时候，会先将fsimage中...
2016-01-09 10:08:40
276
原创 dubbo
注：以下内容摘自dubbo官网用户指南。背景(#)随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。单一应用架构当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。此时，用于简化增删改查工作量的 数据访问框架(ORM) 是关键。...
2016-01-08 16:18:26
101
原创 大型网站架构演变
转自： http://wenku.baidu.com/view/52b477b765ce0508763213c8.html今天我们来谈谈一个网站一般是如何一步步来构建起系统架构的，虽然我们希望网站一开始就能有一个很好的架构，但告诉我们事物是在发展中不断前进的，网站架构也是随着业务的扩大、用户的需求不断完善的，下面是一个网站架构逐步发展的基本过程，读完后，请思考，你现在在哪个阶段。...
2016-01-08 13:29:55
83
原创 hadoop block
1、Block,文件块：最基本的存储单位。文件被切成多个Block，存在dataNode之上,dataNode上会有多个不同Block，相同Block存在于多个dataNode上。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。HDFS默认Block大小是128MB，以一个256MB文件，共...
2016-01-08 09:16:12
313
原创 设定InputSplitSize确定Map Task数
都知道运行job时可以通过Job.setNumReduceTasks(int tasks)来设定Reduce任务数，那么Map任务数如何设定呢，API中并没有提供像直接指定Reduce任务数那样来直接指定Map任务数的方法，先来理下逻辑：首先，文件在上传到Hdfs文件系统的时候，被切分成不同的Block块（默认大小为128MB，这里是hadoop2,hadoop1是64M）。但是每个Map...
2016-01-08 09:10:20
634
企业架构
注：本文转载于网络！ 大型网站架构从来都不是一个预先定义的架构，而是一个演进式的架构。很少有一个网站从建站开始，就能够因具备大型网站的所有属性而一成不变的，从最简单的LAMP架构，再到基于IOE的大型集中式应用架构，再演变成时下的分布式应用架构，随着网站用户规模的扩大，架构也在不断演进。从实体机到虚拟机再到当前流行的Docker技术，从单机房到同城多机房再到异地多活，从LAMP到J2...
2016-01-07 10:38:20
120
java集合框架中的数据结构
java写程序时使用集合是再正常不过的了，经常用，做个简单的总结：1、ListVector: 早在1.0版本就出现了,底层数据结构是可变长度数组，百分之百延长，是同步的；ArrayList: 1.2版本出现.底层数据结构是也可变长度数组，百分之五十延长，是不同步的；LinkedList: 底层数据结构是链表结构，不同步；2、SetHashSet:数据结构是哈希表（底层数...
2016-01-07 10:13:34
167
原创 线程中多模块共享数据
之前项目中经常会碰到线程共享数据的场景，简单总结下：1、通常情况会用java.lang.ThreadLocal来实现线程范围的共享变量，线程内共享，线程外独立；2、ThreadLocal的作用和目的：用于实现线程内的数据共享，即对于相同的程序代码，多个模块在同一个线程中运行时要共享一份数据，而在另外线程中运行时又共享另外一份数据。应用场景：订单处理、银行转账；3、demop...
2016-01-07 09:42:41
199
原创 类加载器ClassLoader
使用JAVA到现在，总结下类加载器：1、什么是类加载器？顾名思义，类加载器就是加载类的工具。2、JVM中的类加载器JVM中可以安装多个类加载器，系统默认有三个主要类加载器，每个类负责加载特定位置的类，系统默认有三个主要类加载器分别是：BootStrap、ExtClassLoader、AppClassLoader3、类加载器也是Java类，所以java类的类加载器本身也要被类...
2016-01-06 15:59:33
108
拍死团队负能量
谨记，拍死"负能量"，才能获得正能量，积极向上，共同进步!注：本人在以往及现在的工作中也多次出现以下“负能量”，归其原因主要是自身心态不定，多少也有客观因素的影响，比如领导、同事带来的影响等，但是不管怎样，当自己意识到自己有了这些“负能量”的时候，一定要即刻调整过来！1、抱怨——杀伤力最大辐射面最广的负能量团队里的"祥林嫂"可男可女，他们总爱数落工作和生活中的种种不满，自怜自艾。工...
2016-01-05 09:26:44
148
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人