应用架构
wxy_fighting
这个作者很懒,什么都没留下…
展开
-
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章:1.一个好的项目架构应该具备什么特点?2.本项目架构是如何保证数据准确性的?3转载 2014-12-04 12:35:22 · 1385 阅读 · 0 评论 -
ESB 案例解析和项目实施经验分享,第 3 部分: ESB 项目需求分析和方案设计浅谈
选自:http://www.ibm.com/developerworks/cn/websphere/library/techarticles/0906_loulj_esb3/ 前言 如同其它 IT 项目一样,企业服务总线类项目的实施也要经历需求分析、方案设计、编码和测试、上线部署等阶段。在介绍了两个特定行业对应的 ESB 解决方案之后,在本系列文章的最后一部分,我们将针对 ESB转载 2013-06-26 15:27:10 · 1815 阅读 · 0 评论 -
ESB案例分析:第 1 部分: 借助 ESB 整合航空公司商务体系,提升客户服务水平
摘自:http://www.ibm.com/developerworks/cn/websphere/library/techarticles/0905_loulj_esb1/index.html 前言 一个实际 ESB 项目实施的成败,不仅要求我们把产品用熟用好,即熟悉 ESB 产品的配置、开发及优化操作,还需要制定正确的、量体裁衣式的解决方案,并且需要借助科学的项目实转载 2013-06-26 15:22:45 · 1720 阅读 · 0 评论 -
ESB 案例解析和项目实施经验分享,第 2 部分: 刚柔相济,构建企业联邦 ESB
摘自:http://www.ibm.com/developerworks/cn/websphere/library/techarticles/0905_loulj_esb2/index.html 前言 我们知道企业 ESB 实施的模式大致分为 Global ESB、ESB Gateway、Federated ESB、Brokered ESB 等若干种,IBM 的 ESB 产品主转载 2013-06-26 15:23:51 · 1763 阅读 · 0 评论 -
各种系统架构图及其简介
各种系统架构图及其简介 1.Spring 架构图 Spring 是一个开源 框架,是为了解决企业 应用程序开发复杂性而创建的。框架的主要优势之一就是其分层架构,分层架构允许您选择使用哪一个组件,同时为J2EE 应用程序开发提供集成的框架。Spring 框架的功能可以用在任何J2EE 服务器中,大多数功能也适用于不受管理 的环境。Spring 的核心要点是:支持不绑定到特定J2EE 服转载 2013-06-20 15:11:10 · 1136 阅读 · 0 评论 -
Struts2框架安全缺陷
本文介绍了java开发流行框架struts2以及webwork的一些安全缺陷,并举例说明框架本身以及开发人员使用框架时,所产生的种种安全问 题,以及作者挖掘框架安全漏洞的一些心得体会。推荐以下人群阅读了解java开发了解框架开发了解web application安全“网络安全爱好者”正文当前java开发网站,通常不会是纯JSP的,大都使用了java fr转载 2013-06-18 17:20:20 · 1076 阅读 · 0 评论 -
分布式设计与开发(四)------数据拆分
一个大型系统里各个环节中最容易出性能和可用性问题的往往是数据库,因此分布式设计与开发的一个重要领域就是如何让数据层具有可扩展性,数据库的扩展分为Scale Up 和Scale Out,而Scale Up说白了是通过升级服务器配置来完成,因此不在分布式设计的考虑之内。Scale Out是通过增加机器的方式来提升处理能力,一般需要考虑以下两个问题:数据拆分数据库高可用架构数据拆分是最先转载 2013-06-18 11:05:55 · 842 阅读 · 0 评论 -
分布式设计与开发(五)------数据库高可用架构
数据库高可用架构对于我们这些应用端开发的人来说是一个比较陌生的领域,是在具体的数据库产品之上搭建的环境,需要像DBA这样对数据库产品有足够的了解才能有所涉及,虽然不能深入其中,但可以通过一些经典的高可用架构学习其中的思想。就我所了解到的有以下几种:MySQL ReplicationMySQL ClusterOracle RACIBM HACMPOracle ASMMySQL Rep转载 2013-06-17 10:18:06 · 1250 阅读 · 0 评论 -
分布式设计与开发(六)------让memcached分布式
memcached是应用最广的开源cache产品,它本身不提供分布式的解决方案,我猜想一方面它想尽量保持产品简单高效,另一方面cache的key-value的特性使得让memcached分布式起来比较简单。memcached的分布式主要在于客户端,通过客户端的路由处理来搭建memcached集群环境,因此在服务端,memcached集群环境实际上就是一个个memcached服务器的堆积品,环境的搭转载 2013-06-17 10:16:55 · 663 阅读 · 0 评论 -
开源安全框架Apache Shiro
Apache Shiro 是一个强大而灵活的开源安全框架,它干净利落地处理身份认证,授权,企业会话管理和加密。 Apache Shiro 的首要目标是易于使用和理解。安全有时候是很复杂的,甚至是痛苦的,但它没有必要这样。框架应该尽可能掩盖复杂的地方,露出一个干净而直观的API,来简化开发人员在使他们的应用程序安全上的努力。 以下是你可以用Apache Shiro 所做的原创 2013-06-15 13:25:53 · 1166 阅读 · 0 评论 -
Java Web中通过配置Tomcat去掉JSP生成的空行
tomcat服务器中的jsp页面中,查看源码会发现顶部有很多空行。这是jsp的动态语句留下来的,诸如:[html] view plaincopy%@ page contentType="text/html;charset=UTF-8" pageEncoding="UTF-8"%> %@ taglib prefix="c" uri="h原创 2013-06-14 09:54:43 · 826 阅读 · 0 评论 -
征服 Redis
大约一年多前,公司同事开始使用Redis,不清楚是配置,还是版本的问题,当时的Redis经常在使用一段时间后,连接爆满且不释放。印象中,Redis 2.4.8以下的版本由于设计上的主从库同步问题,就会导致整个问题,不知是否确为这个Bug所致。但从那以后,我就很少敢去尝试使用Redis。曾想转投MongoDB,但公司同事给我的回复是,由于MongoDB宕机,数据丢失,公司损失惨重。于是,我一直停留在转载 2013-06-13 09:22:02 · 1371 阅读 · 2 评论 -
征服 Redis + Jedis + Spring (一)—— 配置&常规操作(GET SET DEL)
前文有述,Spring提供了对于Redis的专门支持:spring-data-redis。此外,类似的还有: 我想大部分人对spring-data-hadoop、spring-data-mongodb、spring-data-redis以及spring-data-jpa表示关注。一、简述spring把专门的数据操作独立封装在spring-data系列中,转载 2013-06-13 09:21:45 · 1214 阅读 · 0 评论 -
架构师的那些事儿
架构师特质:能够帮助团队的同事解决问题,参与项目和产品设计对于公司的产品和项目发展方向有清晰的认知常常思考企业产品和项目的方向对公司产生的价值跟业务人员有良好的沟通,善于发掘需求具备很广的知识面,不一定要很深入大局观、开放心态和善于沟通复杂问题简单化的抽象能力架构师分类:基础平台架构师业务架构师数据架构师架构师的职责: 平衡平衡需求和条件、平转载 2013-06-11 11:03:40 · 658 阅读 · 0 评论 -
通向架构师的道路(第五天)之tomcat集群-群猫乱舞
一、为何要集群单台App Server再强劲,也有其瓶劲,先来看一下下面这个真实的场景。当时这个工程是这样的,tomcat这一段被称为web zone,里面用spring+ws,还装了一个jboss的规则引擎Guvnor5.x,全部是ws没有service layer也没有dao layer。然后App Zone这边是weblogic,传输用的是spring转载 2013-07-05 13:17:48 · 769 阅读 · 0 评论 -
通向架构师的道路(第十天)之Axis2 Web Service(一)
一、Axis2简介1.1 介绍Axis2Axis框架来自 Apache 开放源代码组织,它是基于JAVA语言的最新的 SOAP 规范(SOAP 1.2)和 SOAP withAttachments 规范(来自 Apache Group )的开放源代码实现。有很多流行的开发工具都使用AXIS作为其实现支持Web服务的功能,例如JBuilder以及著名的Eclipse J2EE插件Lo转载 2013-07-05 13:24:17 · 808 阅读 · 0 评论 -
Apache Kafka:下一代分布式消息系统
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比,有以下不同:它被设计为一个分布式系统,易于向外扩展;它同时为发布和订阅提供高吞吐量;它支持多订阅者,当失败时能自转载 2014-06-13 12:18:03 · 1364 阅读 · 0 评论 -
Tomcat内存设置详解
Java内存溢出详解 一、常见的Java内存溢出有以下三种: 1. java.lang.OutOfMemoryError: Java heap space ----JVM Heap(堆)溢出JVM在启动的时候会自动设置JVM Heap的值,其初始空间(即-Xms)是物理内存的1/64,最大空间(-Xmx)不可超过物理内存。可以利用JVM提供的-Xmn -转载 2014-04-01 17:41:28 · 683 阅读 · 0 评论 -
历届中国大数据技术大会PPT精粹
【CSDN报道】Hadoop起源于2002年的Apache Nutch项目,是Apache Lucene的子项目之一。2004年,Google在OSDI上公开发表了题为《MapReduce: Simplified Data Processing on Large Clusters》的论文,受到启发的Doug Cutting等人开始实现MapReduce计算框架并与NDFS(Nutch Distri转载 2013-10-12 19:21:59 · 2706 阅读 · 0 评论 -
通向架构师的道路(第十一天)之Axis2 Web Service(二)
一、总结前一天前一天中我们讲述了如何生成一个Axis2的WebService, 如何布署以及4种不同的客户端, 它们是: 传统式, 非阻塞式, 双工模式, 双工非阻塞。并且我们看到了一个Axis2的Web Service的布署描述: org.sky.axis2.helloworld.HelloWorld ur转载 2013-07-05 13:25:17 · 954 阅读 · 0 评论 -
通向架构师的道路(第九天)之weblogic的集群与配置
一、Weblogic的集群还记得我们在第五天教程中讲到的关于Tomcat的集群吗?两个tomcat做node即tomcat1, tomcat2,使用Apache HttpServer做请求派发。现在看看WebLogic的集群吧,其实也差不多。区别在于:² Tomcat的集群的实现为两个物理上不同的tomcat,分别就是两个nod转载 2013-07-05 13:23:31 · 861 阅读 · 0 评论 -
通向架构师的道路(第六天)之漫谈基于数据库的权限系统的设计
一、权限系统这一天将讲述一个基本的基于数据库的权限管理系统的设计,在这一天的课程的最后将讲述“左右值无限分类实现算法”如何来优化“系统菜单”的结构而告终。今天的内容和前几天的基础框架是一样的它们都属于基础知识,在这些基础知识上还可以扩展出无数的变种与进化设计。二、先来看客户的一个需求2.1 用户实际需求1. 所有的用户、角色可动态配置2.转载 2013-07-05 13:19:06 · 726 阅读 · 0 评论 -
通向架构师的道路(第二天)之apache tomcat https应用
一、总结前一天的学习在前一天的学习中我们知道、了解并掌握了Web Server结合App Server是怎么样的一种架构,并且亲手通过Apache的Http Server与Tomcat6进行了整合的实验。这样的架构的好处在于:ü 减轻App Server端的压力,用Web Server来分压,即Web Server只负责处理静态HTML内容,而App Server专职负转载 2013-07-05 13:08:31 · 843 阅读 · 0 评论 -
通向架构师的道路(第一天)之Apache整合Tomcat
一、先从J2EE工程的通用架构说起这是一个通用的Web即B/S工程的架构,它由:ü Web Serverü App Serverü DB Server三大部分组成,其中:² Web Server置于企业防火墙外,这个防火墙,大家可以认为是一个CISCO路由器,然后在CISCO路由器上开放了两个端口为:80和443转载 2013-07-05 13:07:43 · 743 阅读 · 0 评论 -
通向架构师的道路(第十二天)之Axis2 Web Service(三)
一、SOAPIn Axis2在前两天的教程中,我们学习到了用Axis2如何进行复杂数据、简单数据进行传输。正如我在前一天教程中所说,在web service的世界里,一切都是基于SOAP的,因此在今天我们将学习Axis2中的SOAP特性。今天的课程将用3个例子来完成即:1) 客户端与服务端使用SOAP进行通讯2) 服务端将Exception以SOAPFa转载 2013-07-05 13:25:53 · 922 阅读 · 0 评论 -
通向架构师的道路(第八天)之weblogic与apache的整合与调优
一、BEAWeblogic的历史BEA WebLogic是用于开发、集成、部署和管理大型分布式Web应用、 网络应用和数据库应 用的Java应用服务器。将Java的动态功能和Java Enterprise标准的安全性引入大型网络应用的 开发、集成、部署和管理之中。 BEA WebLogic Server拥有处理关键Web应用系统问题所需的性能 、可扩展性和高可用性。转载 2013-07-05 13:22:40 · 891 阅读 · 0 评论 -
通向架构师的道路(第七天)之漫谈使用ThreadLocal改进你的层次的划分
一、什么是ThreadLocal早在JDK 1.2的版本中就提供java.lang.ThreadLocal,ThreadLocal为解决多线程程序的并发问题提供了一种新的思路。使用这个工具类可以很简洁地编写出优美的多线程程序。ThreadLocal很容易让人望文生义,想当然地认为是一个“本地线程”。其实,ThreadLocal并不是一个Thread,而是Thread的局部变量,也许转载 2013-07-05 13:20:15 · 696 阅读 · 0 评论 -
通向架构师的道路(第四天)之Tomcat性能调优-让小猫飞奔
一、总结前一天的学习从“第三天”的性能测试一节中,我们得知了决定性能测试的几个重要指标,它们是:ü 吞吐量ü Responsetimeü Cpuloadü MemoryUsage我们也在第三天的学习中对Apache做过了一定的优化,使其最优化上述4大核心指标的读数,那么我们的Apache调优了,我们的Tomcat也作些相应的调整,当完转载 2013-07-05 13:10:15 · 766 阅读 · 0 评论 -
通向架构师的道路(第三天)之apache性能调优
一、总结前一天的学习在前两天的学习中我们知道、了解并掌握了Web Server结合App Server实现单向Https的这样的一个架构。这个架构是一个非常基础的J2ee工程上线布署时的一种架构。在前两天的教程中,还讲述了Http服务器、App Server的最基本安全配置(包括单向https的实现), 它只是避免了用户可以通过浏览器侵入我们的Web访问器或者能够通过Web浏览器来查询我们转载 2013-07-05 13:09:19 · 1117 阅读 · 0 评论 -
征服 Redis + Jedis
用Memcached,对于缓存对象大小有要求,单个对象不得大于1MB,且不支持复杂的数据类型,譬如SET等。基于这些限制,有必要考虑Redis!言归正传,目前Redis大概有3中基于Java语言的Client:JredisJedisRedis4J这里只说Jedis,因为它是官方提供的唯一Redis Client For Java Provider!转载 2013-06-13 09:21:53 · 1254 阅读 · 0 评论 -
征服 Redis + Jedis + Spring (二)—— 哈希表操作(HMGET HMSET)
一、预期接上一篇,扩充User属性: Java代码 public class User implements Serializable { private static final long serialVersionUID = -1267719235225203410L; private String uid;转载 2013-06-12 09:14:08 · 2156 阅读 · 0 评论 -
一种封装多种实现的RPC设计
RPC(远程过程调用)是一种调用远程程序的协议,可以实现RPC的方案很多,比如RMI、Hessian,还有公司自己开发的dbo和TB-Remoting(实际上是基于Hessian和mina实现的),各种RPC的API差异很大,很多系统之间的远程接口调用总会就RPC的调用细节花费很多时间,因此设计一个实现细节对调用者透明的RPC统一框架是非常必要的。最近在学习公司平台产品dubbo时,就发现提供了一原创 2013-06-10 13:01:41 · 791 阅读 · 0 评论 -
SCA服务框架扩展实践
业务组要求ASF提供多种方式的远程服务访问,兼顾性能和跨平台的不同需求,因此在原有的Web Service的SCA发布及绑定的功能外,集成了Hessian,用以发布和访问内部服务(安全性和跨平台要求不高,性能要求较高的服务)。在文中将要讲的就是如何将一个外部的开源项目集成到基于SCA规范实现的服务框架中。注:ASF(Application Service Framework)是基于Tuscan转载 2013-05-08 09:26:51 · 1004 阅读 · 0 评论 -
Style of WebService: REST vs. SOAP
在SOA的基础技术实现方式中WebService占据了很重要的地位,通常我们提到WebService第一想法就是SOAP消息在各种传输协议上交互。近几年REST的思想伴随着SOA逐渐被大家接受,同时各大网站不断开放API提供给开发者,也激起了REST风格WebService的热潮。 在收到新需求Email之前,我对REST的理解仅仅是通过半懂不懂的看了Fielding的REST转载 2013-05-08 09:26:57 · 914 阅读 · 0 评论 -
在路上---基于SCA规范的应用服务框架成长记(二)
二.背上铺盖带上干粮SCA服务框架之路启程记得我在推广SCA规范的时候,常常和Spring作比较,Spring广为流传很大的一点就是在于它的IOC理念,SCA中也很彻底贯彻了这点(这点应该是个趋势,包括OSGI等等开源框架),但是也正是这个理念,在实际运用当中会带来困扰。当开发系统越来越大,一个工厂里面的bean组装复杂度不断增加,庞大的spring bean factory就好比一个大锅子,转载 2013-05-08 09:25:47 · 836 阅读 · 0 评论 -
在路上---基于SCA规范的应用服务框架成长记(一)
每个人在人生的不同阶段都在成长,父母们为自己记录了过去的成长历程,自己也在成年以后记录着自己的成长历程。程序员或者架构师都有着自己的“孩子”,不论自己的孩子是好是坏,都为自己的孩子有一点成绩而激动不已。现在的我也正在培育着一个自己的“孩子”,虽然在它成长过程中我要付出很多,但是看着它的成长,让我觉得所有的付出都是值得的。因此通过这种方式,记录下它的成长,记录下遇到的种种困难和解决之道,为自己也为其转载 2013-05-08 09:25:26 · 951 阅读 · 0 评论 -
再谈OSGI,SCA, 服务框架
兄弟公司新来的BlueDavy同学正好是我过去OSGI起步时的间接导师(看了他的《OSGI进阶》和一些实际的使用经验分享),中午第一次在网上遇到,谈了一会儿,下午有一点时间正好去看了看他新的三篇文章,关于OSGI,SCA,服务框架的文章,有一些自己的体会,在这儿也分享一下,自己对于OSGI也就入门性的了解,所以分析的未必到位,也只能说投石问路了^_^,不过很是期待后面彼此的合作和交流。转载 2013-05-08 09:26:28 · 976 阅读 · 0 评论 -
在路上---基于SCA规范的应用服务框架成长记(五)
原本应该继续写前期的设计和实现的,不过第一期ASF的结束,需要做一些总结和后续的规划,因此先写了这个ppt,作为前期的一个大致总结和后期工作的规划。 大纲§ ASF特质 § ASF特质带来的优点 § ASF实现总览图 § ASF优点的技术体现 § ASF二期转载 2013-05-08 09:26:09 · 1127 阅读 · 0 评论 -
在路上-基于SCA规范的应用服务框架成长记(三)
三.平台跨的不容易 本来这部分内容应该作为很后面的内容,但是由于工作已经作了,也总结了,那么就先写下来贴一下,也算是个分享吧,这部分内容在网上找了很久都没有,所以也算是不错的一个实践。 ISV有几家接了上来,有用PHP的,有.net的,这时候ASF框架的WebService继功能测试,性能测试,安全性测试进入了一个新的测试阶段,兼容性测试。由于ISV的技术力转载 2013-05-08 09:25:58 · 902 阅读 · 0 评论 -
Spring事务管理的失效和Proxy类型的DataSource
Spring事务管理的失效和Proxy类型的DataSource 在服务框架中,我们由于需要将DataSource作为第三方服务暴露给其他模块(此处是十分不推荐的,因为如果作为服务那么首先就要求该服务没有状态),因此就采用Jdk的Proxy来实现虚拟DataSource暴露给其他模块以及第三方。 环境: 采用ASF(基于SCA服务框架的应用服务框架)暴转载 2013-05-07 09:10:40 · 817 阅读 · 0 评论