兰博杂谈-CSDN博客

测试QQ在线状态

点击这里给我发消息新浪微博智修_聪明的一休腾讯微博 leign.du@gmail.com

2011-06-16 11:53:25 291

[size=large]1.Introduce[/size]Thrift is a software library and set of code-generation tools developed at Facebook to expedite development and implementation of efficient and scalable backend service...

2011-05-23 19:41:44 166

改进的Apriori算法和协同过滤（Collaborative Filtering）算法

上次大概地介绍了一下现在常用的推荐算法，下面来介绍两种比较优化的算法。Apriori算法关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。它在数据挖掘中是一个重要的课题，最近几年已被业界所广泛研究。经典的频集算法:Agrawal等于1994年提出了一个挖掘顾客交易数据库中项集间的关联规则的重要方法，其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔...

2010-12-11 15:10:44 766

Shell脚本实现执行‘Hive脚本’

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件hive映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Hive目前还不支持像Mysql那样的sql脚本，如果遇到需要批量处理HQL就会比较麻烦(这两天就遇到需要批量删除有命名规则的表的情况，想了许多土方法)。于是就想到了用shell脚本去实现执行批量HQL命令...

2010-08-04 16:35:15 883

分发还是同步

数据分发还是同步最近需要将一些文件从一台server备份到另一台server上(刷新新的数据到正式机上)是根据刷新操作触发自动同步？还是主动推(分发)过去？想了想，觉得比较合理的解决还是看需要备份的数据量，如果是大规模的文件，为了提高效率，还是主动一点吧，推过去。小批量文件，则还是可以被动同步。用哪种方式1、scp/sftp(SHH2)可以使用[url]ht...

2010-05-23 21:04:43 180

JADE学习笔记

最近用JADE去模拟一个基于gossip的分布式系统，为了实验师兄设计的p2p管理协议。规模大概在1000个Agent左右，其实每台server跑个2000个也不成问题，但花了不少开销在同步和中心管理上，最终每台server只跑了500个。用了之后，感觉JADE确实比较强大，我只用了其中很少一部分东西。下面是我的一些理解和应用:1、每个JADE平台可以容纳不同的容器(我用的...

2010-04-28 14:42:15 280

SQL时间区间条件查询三种方法比较

最近遇到一个需要判断在某一时间段条件的查询，最开始用的between..and，后来想了想为啥不能用小于、大于，然后又想到用datediff函数先求出两个时间差再做正负判断。后来再了一次测试，数据比较少，大概500条数据，结果如下：[code="java"]SELECT * FROM `userleveldetaillog` as u where u.`operatedate` >'2...

2010-03-29 13:16:42 9615 1

推拉模式与观察者模式

最近做一个消息系统，其中涉及到新消息数的即时更新，当时就想到了观察者模式，后来听同事提到推拉模式，感觉推模式原理上应该还是属于观察者模式，只不过把server变成了被观察对象，client被动观察 :x 。。。其实推拉模式我们经常遇到，如广播(推)、HTTP请求(拉)，只是没有刻意去追求概念。设计时还是应该多考虑到。考虑到性能还效率，最终还是选择了拉模式，每隔一断时间请求一次、更新。...

2010-03-11 21:03:25 412

原创 js异步请求返回json格式数据填充

最近公司类似SNS的社区项目，开始接触WEB前端技术，在已经切好的页面基础上套页面。首先要做的，是根据后台提供的接口写前端接口(写成Action,Servlet,JSP都行)，在前端接口进行数据提取与数据拼接，拼成json格式的数据再写回页面中。然后就是写js函数对返回的json格式数据进行处理，写入HTML元素里面，以达到需求要求。下面是一个简单的例子如后台提供了一个...

2010-03-06 13:37:40 368

原创 Confluence与Jira整合之统一用户管理

说到Confluence与Jira的整合，首先就得提到用户的整合，有两种方式:1、通过统一使用外部数据库2、通过LDAP服务器这几天都在搞整合，配置出错导致重新配置也数不清次数了。。首先讲一讲用外部数据库统一用户管理使用这种方式的提前是你配置的Jira必须是使用外部数据库，我用的是Mysql，操作系统是Linux服务器。在分别装好Jira和Confluence(...

2010-01-08 17:49:33 1081

JSON学习笔记

最近写一个搜索方面的代码，需要用JS异步请求以JSON格式与服务器传输数据，于是开始了JSON和Rest的学习。introJSON(Javascript Object Notation)是一种轻量级的数据交换语言，以文字为基础，且易于让人阅读。尽管JSON是在Javascript的一个子集，但JSON是独立于语言的文本格式，并且采用了类似于C语言家族的一些习惯---百科JSON...

2009-12-21 22:19:10 93

通过内网中间服务器获取URL文件(图片)

最近遇到这样一个问题:服务器A不能上外网，但功能需求让它能获取URL的图片，于是想到用同域的另外一台能上外网的服务器B上进行中转。方法是，在服务器B其上写个JSP或Servlet，A通过访问B上的JSP或Servlet,B以流的形式吐出，A获取流数据并生成图片。以下是主要的实现代码A上的请求Action主要代码[code="java"]try { String ...

2009-12-18 09:31:52 1050

JAVA-XML应用学习(1)

这天几做了一些有关XML的应用，如从数据库取出数据以XML格式为FLASH提供数据源，以及以XML为基础的接口应用，主要还是用它来保存数据、传输数据。如今JAVA中XML API大概有4种，DOM、SAX、JDOM、DOM4J，不过应用最多的算是DOM4J，性能最好。它是一个非常非常优秀的Java XML API，具有性能优异、功能强大和极端易用使用的特点，同时它也是一个开放源代码的软...

2009-12-12 16:48:53 83

Mysql跨服务器查询

Mysql跨服务器查询最近遇到一个问题，需要在两个服务上的两个数据库进行联表查询，本以为一两句SQL语句就能把问题解决，后来发现没有这么简单。原因很简单，Mysql虽然支持同一服务器上跨数据库的联表查询(我用的版本是5.0,经证实可行)，但并不支持跨服务器。网上有一些跨服务器联表查询的SQL语句，但都是SQL SERVER的，并不适合MYSQL。后来用Hibernate配了两个数据源，...

2009-12-11 15:57:31 779

无乱码截取汉字字母数字混合字符串

无乱码截取汉字字母数字混合字符串其实思路很简单，一个汉字占两个字节，其他英文字母占一个，故，只要截的地方不在那个汉字的‘中间’就行了。思路：奖字符串字节化，转化为字节数组，统计到限制长度左右的汉字数以及其他字母数，最后再来取舍。[code="java"]public class SubString { private String target; public sta...

2009-12-08 21:44:04 122

原创 ThreadLocal在spring框架中的作用

[b]问题引入[/b]我们知道Spring通过各种DAO模板类降低了研发者使用各种数据持久技术的难度。这些模板类都是线程安全的，也就是说，多个DAO能够复用同一个模板实例而不会发生冲突。我们使用模板类访问底层数据，根据持久化技术的不同，模板类需要绑定数据连接或会话的资源。但这些资源本身是非线程安全的，也就是说他们不能在同一时刻被多个线程共享。虽然模板类通过资源池获取数据连接...

2009-12-01 11:50:57 103

原创 Spring事务配置的五种方式

Spring配置文件中关于[color=red]事务配置[/color]总是由三个组成部分，分别是DataSource、TransactionManager和代理机制这三部分，无论哪种配置方式，一般变化的只是代理机制这部分。DataSource、TransactionManager这两部分只是会根据数据访问方式有所变化，比如使用Hibernate进行数据访问时，DataSource实际为S...

2009-12-01 09:31:19 97

Resin参数配置

用Resin跑别人的一个工程，发现内存不够用而抛错，于是想把Resin的使用内存调大。其参数的配置方法如下:文件Httpd.sh参数配置或直接在MyEclipse的服务器配置中加上参数文件位置：/bin/httpd.shargs='[color=red]-J-server -Xms200m -Xmx1024m -Xloggc:./log/gc.log -XX:MaxNewS...

2009-11-30 10:47:40 237

原创 Hibernate主键生成方式

最近为一活动做技术支持，需要建几个表，其主键都需要自增，每次访问时在最大主键的基础上继续自增。开始的时候，笨得去手动查询、保存、使用ID，后来才想起了Hibernate的主键生成方式，于是用了native(SQL建表时增加autocrement说明).在网上找了另外的hibernate主键生成方式，如下主键产生器的可选项说明： 1) Assigned 主键由外部程...

2009-11-26 19:03:43 64

原创 Spring事务

Spring中事物定义一、Propagation ：对于特定的方法或方法命名模式，代理的具体事务行为由事务属性驱动，如下面的例子所示：PROPAGATION_REQUIRED,readOnlyPROPAGATION_REQUIRED 　　key属性确定代理应该给哪个方法增加事务行为。这样的属性最重要的部份是传播行为。有以下选项可供使用：PROPAGATION_REQ...

2009-11-26 09:31:24 66

Hibernate二级缓存

这两天优化一个模块，那模块的问题是有时用户量访问量大时就慢了，于是想起去优化数据库操作，使用Hibernate的二级缓存。先是看了一些参考手册，然后找了几个配置的实例，测试成功。对二级缓存有了更多的认识。缓存本质上来说就是HashMap,一个ID对应一个Value，暂时放入内在或者硬盘，用的时候先从缓存里面取，若没有再去数据库取。避免缓存出现赃数据和缓存的命中率是一对死对头，若想命中效高，...

2009-11-25 11:14:16 102

原创 Hibernate---延迟加载和OpenSessionInView

Hibernate与延迟加载： Hibernate对象关系映射提供延迟的与非延迟的对象初始化。非延迟加载在读取一个对象的时候会将与这个对象所有相关的其他对象一起读取出来。这有时会导致成百的（如果不是成千的话） select 语句在读取对象的时候执行。这个问题有时出现在使用双向关系的时候，经常会导致整个数据库都在初始化的阶段被读出来了。当然，你可以不厌其烦地检查每一个对象与其他对象的关系，并把那些最...

2009-11-24 18:11:15 100

原创 SQL时间操作

若某字段是datetime或timestamp，要想用日期(yyyy-mm-dd)去筛选，用取子字符串函数先获取日期，再做判断。例如:select * from table where substring(updateTime,1,10) = '2009-11-24';其中updateTime字段是datetime或timestamp类型.substring(string,star...

2009-11-24 13:00:43 381

原创 JSP的5种跳转

[color=green]1.RequestDispatcher.forward()[/color]　　是在服务器端起作用,当使用forward()时,Servlet engine传递HTTP请求从当前的Servlet or JSP到另外一个Servlet,JSP 或普通HTML文件,也即你的form提交至a.jsp,在a.jsp用到了forward()重定向至b.jsp,此时form提...

2009-11-23 16:50:00 87

原创 JAVA同步机制

JAVA中synchronized关键字能够作为函数的修饰符，也可作为函数内的语句，也就是平时说的同步方法和同步语句块。假如再细的分类，synchronized可作用于instance变量、object reference（对象引用）、static函数和class literals(类名称字面常量)身上。在进一步阐述之前，我们需要明确几点： A．无论synchronized关键字加在方...

2009-11-22 16:58:15 80

原创 Hibernate 与 Spring 多数据源的配置

Spring2.0.1以后的版本已经支持配置多数据源，并且可以在运行的时候动态加载不同的数据源。通过继承AbstractRoutingDataSource就可以实现多数据源的动态转换。目前做的项目就是需要访问12个数据源，每个数据源的表结构都是相同的，所以要求数据源的变动对于编码人员来说是透明，也就是说同样SQL语句在不同的环境下操作的数据库是不一样的。具体的配置如下：一、首先需要写一个...

2009-11-22 16:52:40 153

原创 Struts2跳转

这几天在用Strus2写Action以及页面的跳转,0基础...Struts2的Action与1.x的有很大不同，更好使用，也更灵活一些。最简单的使用,自己编写的Action继承ActionSupport，实现execute()函数,根据返回值的不同，而实现不同的跳转。如:[code="java"]public String execute(){ if(condition...

2009-11-21 18:27:35 71

Spring读取自制配置文件

程序中需要一些常量，但可能因为突变情况而得去改变这些常量，如果在程序中写死的话，难免会很不方便，没有灵活性。这样就想起了以前写算法题时用程序读文件，改文件总比改程序好吧。。Spring通过配置可以读取2种格式的配置文件，xml和properties文件。1、读XML文件首先你得有一个需要读取变量对应的javaBean[code="java"]public cla...

2009-11-21 18:12:24 76

JSP与action相互传值方法

1、JSP内容对应一个action时，JSP中的${var}可直接与action中相同变量名对应，同时与id为var的对象对应,前提是在action类中对应变量有getter和setter如:在JSP页中[code="java"][/code]变量var对应Action类中的var变量(带setter\getter)2、Action之间可通过session传值,用session...

2009-11-21 17:39:57 282

原创用Spring实现定时任务

最近在做一个抽奖活动的设计与开发，目前快上线了。里面定时更新抽奖的一些数据和更新数据库(每天放出一些奖品)其实实现起来很简单，只需一个做定时任务的类及里面的方法，如[code="java"]public class DoJob{ //... public void execute(){...}}[/code]配置也很简单[code="java"]...

2009-11-21 13:06:59 69

原创 Mysql时间类型与JAVA时间类型的转换

[align=center]MySql的时间类型有 Java中与之对应的时间类型date java.sql.Datedatetime java.sql.Timestamptimestamp java.sql.Timestamptime ...

2009-11-13 15:53:08 260

我要抽奖

今天到公司的第一天，兴奋还没走完，就来了一个比较有挑战的TASK。。哈哈，我喜欢以前就知道可以用概率算法来模拟抽奖，但是都是一些确定型的问题，如给定的总人数，给定奖品数，这样模拟起来就很好办，方法也比较多，最容易的是直接用SQL语句随机抽出给定人数中奖， select * from people order by rand() limit N; N为中奖人数。也可以用随机算法，给全部人个...

2009-11-12 23:30:54 264

JADE学习笔记(1)

由于XX的课题是关于分布式的成员关系管理协议的实现，老大让调研JADE，在这个平台上实现。JADE (Java Agent Development Framework)是一个完全由Java语言开发的一个软件框架，并且符合FIPA规范。是一个中间件，其主要作用是It simplifies the implementation of multi-agent systems through ...

2009-11-11 22:40:05 241

有关内存管理与指针

1、内存耗尽如果在申请动态内存时找不到足够大的内存块，malloc和new将返回NULL指针，宣告内存申请失败。2、计算内存容量用运算符sizeof可以计算出数组的容量（字节数）。注意区别指针与其他类型的大小3、malloc/free 的使用要点函数malloc的原型如下： void * malloc(size_t size); malloc返回值的类...

2009-11-10 14:13:54 118

Spring学习笔记

解耦合、灵活性、可扩展性等这些都是我们所追寻的，Spring这个开源框架就是其中的一个产物。为了解决企业应用开发的复杂性而创建，使用基本的JavaBean来完成以前只可能由EJB完成的事情。　　目的：解决企业应用开发的复杂性　　功能：使用基本的JavaBean代替EJB，并提供了更多的企业应用功能　　范围：任何Java应用　　简单来说，Spring是一个轻量级的控制反转(I...

2009-11-10 14:12:39 66

JDBC复习

1、一个完整的JDBC连接（MYSQL） 1import java.sql.*; 2 3public class JDBCTest { 4 5 /** *//** 6 * 描述： 7 * @param args 8 */ 9 public static void main(String[] args) {10 ...

2009-11-10 14:11:21 86

JUnit简单使用复习

测试有时比写程序还要花时间和精力，特别是大型项目的开发。JUnit很好用，也很强大，下面复习一下他的简单使用。总体来说，步骤分为：写测试用例---->执行测试用例---->得到测试结果、分析比如我要测试一个函数[code="java"]package dujiali.junit;public class Calcuator { pub...

2009-11-10 14:08:30 103

原创 Mysql汉字乱码问题

1.在安装Mysql时其实可能选择使用GBK来处理汉字，由于以前没使用，所以就按默认的英语处理。不过，也可以C:\Program Files\MySQL\MySQL Server 4.1安装路径下的my文件[mysql] 下default-character-set=gbk改成gbk 然后重起一下．2.用命建数据库和表时在最后都加上default charset=gbk;如：cre...

2009-11-10 14:06:13 103

设计模式英文手稿

暑期实习的时候做了一次presentation on design pattern，以下是做的draft(由于公司算半个外企，用的英文;)Design patterns are recurring solutions to software design problems you find again and again in real-world application developm...

2009-11-09 22:20:04 134

空空如也

空空如也