nanquan-CSDN博客

原创大数据的存储和查询优化总结

最近的项目里需要对大数据量的数据进行存储和查询, 每天的基础数据大概在500w~1500w之间, 每1000w的数据大概会占用1.5GB~2GB的物理存储, 这对我们的数据库设计, 程序和服务器都是一个不小的挑战. 数据库我们用的是DB2, 下面是一些经验总结(不断更新中..):1. 在大数据量的情况下, 如果 join的表只是为了数据过滤, 则应该考虑用子查询替换join2...

2012-08-03 18:14:40 1045

原创 Apache2.4的安装步骤总结

Apache HTTP Server 2.4的一个重要目标是大幅改进性能。改进了缓存、代理模块，会话控制，改进异步读写支持，等等。Apache HTTP Server项目管理委员会希望终端用户能真正看到性能进步，表示Apache 2.4比许多以速度见长的Web Server更快，例如Nginx。系统： openSUSE X64 httpd 2.4.2下载包，wget htt...

2012-06-05 00:20:20 179

原创 Activiti 开发主意事项

Activiti 5.9 runtimeService.signalEventReceived(String signalName)这里的signalName就是流程定义里的name(not id) <signal id="alertSignal" name="alert" /> 跟rule(Drools DRL)结合部署时, 需要将rule和流程定义文件一...

2012-05-31 23:46:53 280

原创 Activit与LDAP的集成

在Activiti的User Guide(5.9)里, 有介绍activiti与LDAP的集成示例. <userTask id="task" name="My Task" activiti:assignee="${ldapService.findManagerForEmployee(emp)}"/>This also works similar for ca...

2012-05-29 18:12:30 340

原创关于activiti报：org.activiti.engine.ActivitiException: couldn't find type for XXX 异常

从activiti论坛的相关讨论中可以得知，activiti报这个异常的原因多是因为XXX类型可能做为Variable设给了工作流，而这个XXX类型并没有序列化！知道原因后，解决方法就很简单了，只需要将XXX类以及其依赖的其他类实现java.io.Serializable接口就好了。但是在有种情况下，这个问题并不太容易并发现，那就是在使用web service生成客户端stub代码后，如果本地工作...

2012-05-25 10:31:06 324

原创转://REST服务开发实战

REST介绍　　如果要说什么是REST的话，那最好先从Web（万维网）说起。　　什么是Web呢？读者可以查看维基百科的词条(http://zh.wikipedia.org/zh-cn/Web)，具体的我就不多说了。总之，Web是我们在互联网上最常用的服务，甚至在某些人的心中，互联网就是Web。当然，Web只是互联网的一部分而已，只是大家用的最多而已，我们访问的所有网站都是基于Web。...

2012-05-24 23:07:28 106

原创转://OsCache MemCached EhCache

Memcached:分布式内存对象缓存系统，占用其他机子的内存。很多互联网，负载均衡三台(以三台为例)web服务器可以共享一台Memcached的资源。传递的信息以键值对的形式存储。传递的数据要实现序列化。 ------------------------------------------------------------------------------------------------...

2012-05-23 23:52:10 120

原创多个tomcat之间的session复制

用tomcat做负载集群时, 经常会用到session复制(Session Replication), 很多例子会告诉我们要配置apache或者其他的Web Server. 而事实上, 单纯从session复制的角度讲, 是不需要Web Server的. tomcat的session复制分为两种, 一种是全局试的(all-to-all), 这意味着一个node(tomcat实例)的sess...

2012-05-18 11:28:15 283

原创转: 测试工具LoadRunner和OpenSTA比较分析

项目描述LoadRunnerOpenSTA协议测试工具可以捕捉、处理及回放通信协议支持多种协议。按照协议数量收费，支持多种协议录制功能。仅支持HTTP 1.0 / 1.1 / HTTPS (SSL)。回放功能回放脚本及脚本调试工具扩展的记录功能支持参数和服务...

2012-05-18 11:19:04 139

JS小Demo: 点击Body 创建DIV, 点击DIV删除

给小朋友做的演示三个兼容主流浏览器的公共方法addEventremoveEventstopEventPropagation<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" " http://www.w3.org/TR/html4/loose.dtd"><html&gt...

2012-05-16 11:19:02 382

原创 Portlet开发中, 根文件夹命名不要与Portlet Name一致

环境: WebSphere + Portal Server Portlet对应的jsp不要放在跟Portlet同名的folder里, 如:Portlet Name: MapPortletjsp的folder不要放在 WebContent/MapPortlet/ 下面因为Portal Server是不允许直接通过Porlet Name访问Porlet的, 而根目录如果跟Po...

2012-05-14 16:55:48 95

原创在Google Earth Plugin里的balloon显示动态内容

之前在Google Earth Client 端用KML做数据展示, 其中每个元素点击之后都会弹出balloon, 每个ballon会通过javascript(Ajax)调用后台程序, 呈现动态内容. <BalloonStyle> <text> <![CDATA[ <html> <body id="bod...

2012-05-14 11:21:07 254

原创转://用 Cobertura 测量测试覆盖率

http://www.ibm.com/developerworks/cn/java/j-cobertura/尽管测试先行编程（test-first programming）和单元测试已不能算是新概念，但测试驱动的开发仍然是过去 10 年中最重要的编程创新。最好的一些编程人员在过去半个世纪中一直在使用这些技术，不过，只是在最近几年，这些技术才被广泛地视为在时间及成本预算内开发健壮的无缺...

2012-05-09 15:13:03 128

原创 Protovis 可视化的javascript图表生成工具

Protovis 是一个免费的开源的javascript图表生成工具. 基于BSD License. 目前最新(最终)的发布版是 v3.3.1. Protovis Team现在已经再开发另一个更高级的项目了,叫做D3.js,改进支持动画和交互. D3.js的很多概念都基于Protovis. 下面是官方提供的入门例子: var vis = new pv.Panel() ...

2012-05-08 17:10:17 298

原创 KML 中的 Color

转自google 官方参考 https://developers.google.com/kml/documentation/kmlreference?hl=zh-cn#colorstyle<ColorStyle>语法<!-- ColorStyle id="I...

2012-05-08 15:54:18 2139

原创 MySQL的查询分析工具

MySQL的查询分析工具mysql> explain SELECT_SCRIPT 对于经常使用mysql的兄弟们，对explain一定不会陌生。当你在一条SELECT语句前放上关键词EXPLAIN，MySQL解释它将如何处理SELECT，提供有关表如何联合和以什么次序的信息。借助于EXPLAIN，你可以知道1)你什么时候必须为表加入索引以得到一个使用索引找到记...

2012-05-07 23:39:36 108

原创 Windows 7 下安装 Node.js

Node是一个Javascript运行环境(runtime)。实际上它是对GoogleV8引擎（应用于Google Chrome)进行了封装。新版本的node增加了Windows Installer(.msi), 安装非常简单, 下载安装程序(msi)后, 一步一步安装就可以了. 需要提醒的是, 有时候安装完成之后需要重启才会生效. ...

2012-04-30 10:14:13 137

原创 Kindle Touch 越狱

所谓越狱，可能大家听到得比较多的是水果产品的越狱，大家对越狱可能也有所误解，所谓“越狱”，就是指获得自由，对系统软件来说，有就是获得 root/高权限。所有的折腾，比如改字体和去广告，换屏保等等，都需要先越狱。需要注意的是，Kindle 的固件升级是增量更新，所以在升级之前，需要把所有的 hack 都还原，否则校验会失败，升级不成功，所以，在做每一步之前，请先明确，你知道如何还原它，...

2012-04-30 00:48:56 708

原创在windows 7 中安装Cygwin

cygwin是一个在windows平台上运行的unix模拟环境，是cygnus solutions公司开发的自由软件（该公司开发了很多好东西，著名的还有eCos，不过现已被Redhat收购）。它对于学习unix/linux操作环境，或者从unix到windows的应用程序移植，或者进行某些特殊的开发工作，尤其是使用gnu工具集在windows上进行嵌入式系统开发，非常有用。随着嵌入式系统开发在国内...

2012-04-30 00:38:09 182

原创 Servlet3.0: 简介AsyncContext

转自: http://caterpillar.onlyfun.net/Gossip/ServletJSP/AsyncContext.html 原文为繁体版, 通过Google 翻译整理每个请求来到Web容器，Web容器会为其分配一条执行绪来专门负责该请求，直到回应完成前，该执行绪都不会被释放回容器。执行绪会耗用系统资源，若有些请求需要长时间处理（例如长时间运算、等待某个资源）...

2012-03-28 15:57:45 373

WebWork中使用execAndWait的使用总结

在项目中使用excel将用户数据导入系统，由于导入的数据量不断增多，逻辑的判断和处理也越来越复杂，为了提高导入的速度和用户体验，决定采用多线程处理导入数据，并在页面给用户提示进度。WebWork用的是2.2.7。原来上传使用的是WebWork默认的上传拦截器fileUpload，加上execAndWait以后，偶尔会提示文件不存在。 [com.opensymphony.webwor...

2010-03-20 10:29:44 112

nanquan的专栏