- 博客(145)
- 收藏
- 关注
RSS订阅Windows 7系统下搭建MPI（并行计算）环境
MPI的全称是Message Passing Interface即标准消息传递界面，可以用于并行计算。MPI的具体实现一般采用MPICH。下面介绍如何在Windows 7系统下VC6中搭建MPI环境来编写MPI程序。1.安装MPI的SDK——MPICH2mpich2-1.4.1p1-win-ia32安装程序的下载地址：http://www.mcs.anl.gov/research/...
2012-09-30 09:08:00
380
一个功能简单而又极具挑战的需求，这就是alibaba业务的特点。
25亿条数据，近600g，由云梯计算生成，大约每三天生成一次，而要入库，提供多维查询的接口和用户操作界面，最终数据估计达100亿。简单就是把云梯生成的文本信息入库，提供查询。以后多维结果数据的权重计算也很简单，接口和用户操作界面都是入门级需求。挑战的目前25亿，最终达100多亿的量。存储容量，数据库选型，接口查询性能。航母不是舢板的放大，当规模到了另一个级别就是不同领域的科学了。...
2012-09-30 06:34:00
72
命令行运行Hbase: Session 0x0 for server null, unexpected error
今天又重新看了下hbase的操作，以前虽说是运行过对Hbase的操作，比如直接的建表，导入数据，或者是使用MR操作Hbase，但是都是在单节点上做的，而且是用eclipse下操作的，不用担心一些包的问题。今天打算把代码拷贝到hadoop的lib下面，然后在命令行中运行，下午遇到的一个问题如下：12/09/29 12:29:36 INFO zookeeper.ZooKeeper: Initiat...
2012-09-29 16:07:00
272
命令行运行Hbase: Session 0x0 for server null, unexpected error
今天又重新看了下hbase的操作，以前虽说是运行过对Hbase的操作，比如直接的建表，导入数据，或者是使用MR操作Hbase，但是都是在单节点上做的，而且是用eclipse下操作的，不用担心一些包的问题。今天打算把代码拷贝到hadoop的lib下面，然后在命令行中运行，下午遇到的一个问题如下：12/09/29 12:29:36 INFO zookeeper.ZooKeeper: Initiat...
2012-09-29 16:07:00
90
搜索引擎相关资源
1. 开源项目1.Lucene全文检索系统 http://lucene.apache.org和http://www.lucene.com.cn/ Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两...
2012-09-29 11:10:00
77
Spring3.0和Mybatis的集成,含事务配置
[2012年3月13日12:11:57 add 如果不想CTRL+C CTRL+V只想看效果的同志请移步至http://code.google.com/p/ssm-study/] 相对于hibernate来说，比较喜欢mybatis一些。虽然mybatis没有hibernate那么成熟,但可以手动控制sql语句怎么长。废话不多说，上代码。欢迎拍砖。X...
2012-09-29 10:34:00
80
【思考】tf/idf之于文本分类
因为工作中需要用到计算词语权重，进而作词与选择，思考了一下tf/idf。首先还是简单介绍一下tf/idf。这个概念最开始用于信息检索。tf表示term frequency，通常是指词频；idf表示inversed document frequency，是文档频率的倒数。计算方式如下：通常是对于一篇文档，统计某个词出现的次数，并用文档中的总词数作归一化，计算出的tf在（0，1）之间。同时...
2012-09-28 20:18:00
326
QuickWebFramwork是一个开发模块化WEB程序的框架项目。
http://code.google.com/p/quickwebframework/QuickWebFramwork是一个开发模块化WEB程序的框架项目。介绍OSGiQuickWebFramework内部使用OSGi容器承载各WEB模块插件。开发一个插件就是开发一个OSGi Bundle。模块化在程序运行时可以任意安装，启用，停止，卸载WEB模...
2012-09-28 15:50:00
139
Hadoop k-means 算法实现
经过昨天的准备工作，今天基本就可以编写整个k-means算法程序了。今天编写的时候遇到了一个问题，是combine操作时遇到的问题。除了这个问题基本都按照原来的思路进行。先说下我的思路吧。准备工作：在上传数据文件到HDFS上之前，先应该产生一个中心文件，比如我的输入文件如下：0.0 0.2 0.40.3 0.2 0.40.4 0.2 0.40.5 0.2 0.45.0 5.2 5....
2012-09-28 14:49:00
271
Hadoop k-means 算法实现
经过昨天的准备工作，今天基本就可以编写整个k-means算法程序了。今天编写的时候遇到了一个问题，是combine操作时遇到的问题。除了这个问题基本都按照原来的思路进行。先说下我的思路吧。准备工作：在上传数据文件到HDFS上之前，先应该产生一个中心文件，比如我的输入文件如下：0.0 0.2 0.40.3 0.2 0.40.4 0.2 0.40.5 0.2 0.45.0 5.2 5....
2012-09-28 14:49:00
97
一次大量enq: TX - row lock contention锁等待的问题
今天下午接到业务报障，系统出现问题，可能是数据库的问题1，登录系统,查看等待事件，大量row lock6:12:58][16:12:58] SID SERIAL# OSUSER USERNAME SVRPROC SQL_HASH_VALUE EVENT P1 P2 P3[16:12:58]------ ---------- -------- -------- ---------------...
2012-09-28 09:05:00
259
直接用网线连接两台电脑，实现双网卡共享上网
原文直接用网线连接两台电脑，实现双网卡共享上网我有两台电脑，一台笔记本，一台台式机，都是 XP 操作系统。笔记本收到 邻居无线信号，能正常上网。想通过有线连接使台式机同样能够共享网。经过摸 索总算成功了，写成文字与大家共享。 方法及步骤： 1、制作好网线。网线的制作方法和一般的网线制作方法有所不同，因为是 两台计算机直接连接，所以采用交叉接法。 白绿／ 白橙／ 白蓝／ 白棕／ 一 端：...
2012-09-28 02:22:00
481
Spring MVC+Freemarker+Javascript的多语言（国际化i18n/本地化）和主题（Theme）实现
http://www.cnblogs.com/Mainz/archive/2012/08/04/2622858.htmlhttp://www.iteye.com/topic/1121801导语本文说说java web的多语言国际化实现和主题（Theme）的实现，具体到框架是Spring MVC+Freemarker+jQuery/JS的多语言国际化实现和主题（Theme...
2012-09-27 16:46:00
269
Hadoop的“全局变量”
以前有做过在Hadoop编写程序时使用全局变量的想法，但是最后却没有实现，上网查才看到说Hadoop不支持全局变量。但是有时候编程的时候又会用到，比如编写k-means算法的时候，如果可以有个全局变量存储中心点该多好呀。其实在hadoop中确实是有相关的实现的，比如可以在mapper中的setup函数中读取一个小文件，然后从这个文件中取出全局变量的值。那具体如何实现呢？首先提出一个问题，然后利...
2012-09-27 16:29:00
85
Hadoop的“全局变量”
以前有做过在Hadoop编写程序时使用全局变量的想法，但是最后却没有实现，上网查才看到说Hadoop不支持全局变量。但是有时候编程的时候又会用到，比如编写k-means算法的时候，如果可以有个全局变量存储中心点该多好呀。其实在hadoop中确实是有相关的实现的，比如可以在mapper中的setup函数中读取一个小文件，然后从这个文件中取出全局变量的值。那具体如何实现呢？首先提出一个问题，然后利...
2012-09-27 16:29:00
84
自己动手写淘宝开放平台:Rop(将WebService REST进行到底!!)
http://www.iteye.com/topic/1121252简介 最近在开发自己公司网站的开放API服务，较深入地研究了TOP（Taobao Open Platform:淘宝开放平台http://api.taobao.com）。在接触过这么多的网站API中，发现TOP真的是做得非常不错，结构清晰明了，使用简单轻便。但是TOP没有开源，搞不到TOP的源码。所以只能“自己动手，丰衣...
2012-09-27 15:09:00
329
云热点技术简介
云热点技术（Cloud Hotspot， Hotspot in the Cloud，或Hotspot from the Cloud）是一项新兴的、面向WiFi用户，并相互结合的多种技术的统称。所谓云热点，简单的说，是以云计算平台构建的WiFi热点服务系统。云热点具有以下几种特征：1. 提供基于Web Portal方式的AAA服务（Authentication，Authorizationan...
2012-09-27 12:24:00
248
云热点技术简介
云热点技术（Cloud Hotspot， Hotspot in the Cloud，或Hotspot from the Cloud）是一项新兴的、面向WiFi用户，并相互结合的多种技术的统称。所谓云热点，简单的说，是以云计算平台构建的WiFi热点服务系统。云热点具有以下几种特征：1. 提供基于Web Portal方式的AAA服务（Authentication，Authorizationan...
2012-09-27 12:24:00
204
语境驱动测试7原则
语境驱动测试7原则探索式测试的奠基人和积极实践者Cem Kaner和James Bach都支持语境驱动测试[Kaner12]。语境驱动测试的7条基本原则对于正确理解并应用探索式测试具有重要意义，本节将予以简单讨论。原则1：任何实践的价值都取决于其语境（Context）。这条原则几乎是不言自明的。中国人很早之前就有相似的认识，“南橘北枳”[1]指相同的种子在不同的环境中会结出不同的果实。...
2012-09-27 10:30:00
112
链接分析算法之：HillTop算法
Hilltop算法是由Krishna Baharat 在2000年左右研究的，于2001年申请专利，但是有很多人以为Hilltop算法是由谷歌研究的。只不过是Krishna Baharat 后来加入了Google成为了一名核心工程师，然后授权给Google使用的。 在与PageRank算法相比之下，Google意识到这个算法的进步会为他们的搜索排名带来非常重要的功能。Google的Hil...
2012-09-26 17:04:00
429
使用 Spring 3 MVC HttpMessageConverter 功能构建 RESTful web 服务
http://www.ibm.com/developerworks/cn/web/wa-restful/index.html简介：Spring，构建 Java™ 平台和 Enterprise Edition (Java EE) 应用程序的著名框架，现在在其模型-视图-控制器（Model-View-Controller ，MVC）层支持具象状态传输 (REST)。RESTfu...
2012-09-26 17:02:00
67
探索式测试的问与答
探索式测试的问与答本节用对话的形式讨论探索式测试的概念与实践。提问者是本书的一位虚拟读者，回答者是本书的作者们。问：探索式测试中的“探索”该如何理解？答：所谓探索是指有目的的漫游，即带着使命在某个空间中漫游，但没有预先确定的路线 [Kaner01]。探索包括对产品与技术的深入研究和基于研究成果的实践应用。问：如何实施探索式测试？答：本书第3部分将专门讨论该问题。这里先介绍一种可...
2012-09-26 09:27:00
99
链接分析算法之：SALSA算法
SALSA算法的初衷希望能够结合PageRank和HITS算法两者的主要特点，既可以利用HITS算法与查询相关的特点，也可以采纳PageRank的“随机游走模型”，这是SALSA算法提出的背景。由此可见，SALSA算法融合了PageRank和HITS算法的基本思想，从实际效果来说，很多实验数据表明，SALSA的搜索效果也都优于前两个算法，是目前效果最好的链接分析算法之一。 从整体计算流程来说...
2012-09-25 17:04:00
156
CentOS6.3下为OpenStack制作CentOS镜像
参考文档：http://docs.openstack.org/essex/openstack-compute/admin/content/manually-creating-qcow2-images.htmlhttps://github.com/rackerjoe/oz-image-build/blob/master/templates/centos60_x86_64.tdl目前网上有许多为O...
2012-09-24 21:16:00
127
链接分析算法之：HITS算法
HITS（HITS(Hyperlink - Induced Topic Search) ） 算法是由康奈尔大学( Cornell University ) 的Jon Kleinberg 博士于1997 年首先提出的,为IBM 公司阿尔马登研究中心( IBM Almaden Research Center) 的名为“CLEVER”的研究项目中的一部分。HITS算法是链接分析中非常基础且重...
2012-09-24 19:53:00
1537
maven生成war包的两种格式
http://touchfu.iteye.com/blog/545708http://blog.sina.com.cn/s/blog_67e0655401016ipm.html<wbr>war包即对WEB应用程序进行打包，用于应用容器的部署。如在jboss中只要把war包丢入deploy目录下即可发布自己的应用了。打包方式有很多中，很多工具本身就支持此功能。下面...
2012-09-24 17:38:00
66
在Meego上实现一个播放器——gupnp
在Meego上实现一个播放器——gupnp寻找Linux开发upnp的库，发现就是gupnp对我来说比较合适。同样的没有tutorial，同样的看example。基于gupnp，针对不同的功能有几个不同的包。gupnp-av，gupnp-dlna，gupnp-igd等等。我们需要用到的是gupnp-av，下载之后没有发现合适的例子。寻找后发现例子在gupnp-tools里面。和intel出...
2012-09-24 11:23:00
151
Maven学习问题解决
问题1:Eclipse Warning: No grammar constraints (DTD or XML schema) detected for the documentDTD验证是xml的规范，要去除警告的话：Eclipse4.2解决方法：windows-> preferences -> xml ->xml files ->validation-...
2012-09-23 21:16:00
99
链接分析算法之：主题敏感PageRank
前面的讨论提到。PageRank忽略了主题相关性，导致结果的相关性和主题性降低，对于不同的用户，甚至有很大的差别。例如，当搜索“苹果”时，一个数码爱好者可能是想要看 iphone 的信息，一个果农可能是想看苹果的价格走势和种植技巧，而一个小朋友可能在找苹果的简笔画。理想情况下，应该为每个用户维护一套专用向量，但面对海量用户这种方法显然不可行。所以搜索引擎一般会选择一种称为主题...
2012-09-23 13:11:00
209
Eclipse下SpringDM开发环境配置
1. 安装Eclipse3.7 推荐使用：Eclipse Classic版本 下载地址：http://www.eclipse.org/downloads/或http://download.eclipse.org/eclipse/downloads/2. 安装SpringIDE 如果要支持可视化操作需先安装：http://download.eclipse.org/tools/a...
2012-09-23 10:30:00
134
Hadoop Combiner 操作
近期看了一本书：Data-intensive Text Processing with MapReduce，是讲如何设计MR程序的，看到一个例子是Combiner的设计模式，然后就动手实现了下。具体问题如下：现有输入数据如下：one 3.9one 4.0one 3.8two 44two 44two 44three 9898four 2323four 2323five 2...
2012-09-22 16:18:00
124
Hadoop Combiner 操作
近期看了一本书：Data-intensive Text Processing with MapReduce，是讲如何设计MR程序的，看到一个例子是Combiner的设计模式，然后就动手实现了下。具体问题如下：现有输入数据如下：one 3.9one 4.0one 3.8two 44two 44two 44three 9898four 2323four 2323five 2...
2012-09-22 16:18:00
74
PageRank算法
1. PageRank算法概述 PageRank,即网页排名，又称网页级别、Google左侧排名或佩奇排名。 是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模型。目前很多重要的链接分析算法都是在PageRank算法基础上衍生出来的。PageRa...
2012-09-21 17:02:00
3540
一次IO利用率100%，数据库大量全表扫描问题
现象描述1， 具体什么业务受到影响不清楚，但从系统测看，主机IO资源比较紧张（HPUX 11.31 +oracle 9i）HP-UX crmdb3 B.11.23 U ia64 09/19/1211:09:42 %usr %sys %wio %idle11:09:45 28 5 64 311:09:48 28 2 61 911:09:51 28 2 67 311:09:54...
2012-09-21 16:54:00
246
Http服务器嵌入到OSGI框架环境配置
http://www.cnblogs.com/skyme/archive/2012/07/10/2583952.html开发web的两种方式基于OSGI开发B/S应用有两种方式：1）在OSGI框架中嵌入Http服务器2）在Servlet容器中嵌入OSGI框架Http服务器嵌入到OSGI框架环境配置配置运行环境，选择Run->Run Configuration，n...
2012-09-21 10:19:00
95
oracle 连不上咯
一来就发现oracle登录不上了，就直接报告ora-01033的错误。网上一查，原来有可能是文件损坏了，仔细回想了一下，周五好像就是在做oracle数据操作的时候，断过一次电，：（莫非要重装oracle？？My God ！不死心，继续找，看有没有办法解决这个问题。装oracle实在是太浪费时间了。sqlplus/nologSql>conn/as sysdbasql>...
2012-09-20 17:41:00
67
利用maven创建spring-osgi powered 多bundle工程
如何利用maven 创建多工成参见《多工成Maven工程的创建》这里仅作扩充1、创建总控pom文件添加如下内容<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSche...
2012-09-20 14:47:00
74
搜索引起的链接分析-计算网页的重要性
1. 链接分析 搜索引擎在查找能够满足用户请求的网页时，主要考虑两方面的因素： 网页和查询的相关性：是用户发出的查询与网页内容的内容相似性得分。 网页的重要性：通过链接分析方法计算获得的得分。 搜索引擎融合两者，共同拟合出相似性评分函数，来对搜索结果进行排序。常见的链接分析算法除了鼎鼎有名的PageRank，还有HITS、SALSA、Hilltop以及主题PageRa...
2012-09-19 18:12:00
345
OSGi Maven开发/部署环境的搭建历程
之前的Opendoc中没有涉及过此部分的内容，maven又是现在非常流行的java的工具，再加上到目前为止搭建OSGi Maven开发和部署的环境还是比较的麻烦，觉得有必要写篇这样的blog，:)，在这篇blog中来看下如何搭建一个比较好用的OSGi Maven开发和部署环境，看看我在搭建一个这样的环境中的痛苦历程。首先说下我期望的OSGi Maven开发/部署的环境：1、META-INF...
2012-09-19 15:53:00
123
lazy value可以在需要的时候重新计算值，但不是重新赋值。
它可以起到var的部分作用，但又不可以被程序员手工重新赋值。int x = 0;lazy val value = 1/xtry{ println(value) }catch{ case _ => x = 1println(value)}可以在catch块中正确输出1，因为这时value重新计算为1/1.但是重新计算只能发生在异常时的异常处理中： var x = 1; ...
2012-09-19 11:06:00
190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人