2017年03月_似水流年

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Flume架构以及应用介绍

在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程：从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。（一）Flume架构介绍 1、Flume的概念 flume是分布式的日志收集系统，它将各个服务

2017-03-23 20:01:21 639

转载大数据Lambda架构

1 Lambda架构介绍 Lambda架构划分为三层，分别是批处理层，服务层，和加速层。最终实现的效果，可以使用下面的表达式来说明。query = function(alldata)1.1 批处理层(Batch Layer, Apache Hadoop) 批处理层主用由Hadoop来实现，负责数据的存储和产生任意的视图数据。计算视图数据是一个连续的操作，因此，当新数

2017-03-23 19:57:20 821 1

转载微服务架构

互联网保险O2O平台微服务架构设计关于架构，笔者认为并不是越复杂越好，而是相反，简单就是硬道理也提现在这里。这也是微服务能够流行的原因，看看市场上曾经出现的服务架构：EJB、SCA、Dubbo等等，都比微服务先进，都比微服务功能完善，但它们都没有微服务这么深入民心，就是因为他们过于复杂。简单就是高科技，苹果手机据说专门有个团队研究如何能让用户更加简单的操作。大公司都是由小公司发展起来

2017-03-10 09:50:22 748

一、高级程序员如果你是一个刚刚创业的公司，公司没有专职产品经理和项目经理，你就是公司的产品经理，你如果对你现在的开发员能力不满，那么你只需要的是一个高级程序员。你定义功能、你做计划推进和管理，他可以带1-2个副手把你规划的功能实现了，他是主力干活者，有技术难题也是他来亲自攻克解决。所以，一个高级程序员，他的职责很清晰：1、负责核心复杂功能的实现方案设计、编码实现2、负责疑难BUG分析诊断、攻关解决

2017-03-01 14:28:20 1595