技术源于生活

努力学习新技术

排序:
默认
按更新时间
按访问量

通过libnotify发送桌面通知

上班的时候,来不及跟进最新的新闻,所以想做个桌面通知程序。ubuntu里面用来发送桌面通知的是libnotify包,而且还有python的binding。所以,自己写了个程序,当发现新的新闻时,就弹出桌面通知。程序分为两大部分,一个是通过parse rss文件,提取最新的新闻链接,然后另一个程序定...

2009-04-13 10:44:00

阅读数:1811

评论数:0

使用awk + sort做数据统计

之前用Java作日志分析,算PV的时候,要把URL提取出来,然后用hash来累计。后来日志多了,单机扛不住,就改上hadoop,算法基本不变。但今天发现,其实用awk命令就可以简单做到。而且性能相当快。再加上sort,连排序都一起做了。超级爽。 

2009-03-19 23:55:00

阅读数:1955

评论数:1

Wicket & Tapestry

      最近要做一个类CMS的系统,在选型的时候,由于之前用的Tapestry 4,所以,一开始打算用他的,但是4的pretty url做的不好,而且需要有个xml来写那些循环,binding之类的逻辑。所以,直接就pass,想看看5,虽然5的feature list里面列出了一大堆的新功能,...

2009-03-17 22:18:00

阅读数:1811

评论数:0

Hadoop 的 KeyFieldBasedComparator

Hadoop的KeyFieldBasedComparator主要使用在基于对Key的比较和分区,但是经过一段时间以来的使用,发现好像问题挺多,而且经常是数组越界的问题。而且他的异常抛出情况不太稳定,会跟问题的量级相关,所以,现在我都是尽量不使用该类,而是使用自定义的Comparator和Parti...

2009-03-09 08:36:00

阅读数:2782

评论数:0

Hadoop记录排序

hadoop的每次输出都是输出的key,value对,默认的hadoop会对key进行排序,但如果我们想对value也排序的话怎么办了。一个具体例子,假设现在我们有一堆交易数据,例如,用户在某个时间买了某件货品,那么我们可能希望先根据用户名分组,但是在组内,我们希望按照时间排序。那么如果我们把用户...

2009-02-24 19:16:00

阅读数:3561

评论数:0

通过Hadoop做分布式索引

数据库里面有千万级的数据需要做索引,开始的方案是起线程,然后每次读取一定的数量,索引,然后继续读。一开始上了四台普通的PC,1.8的CPU,1G的内存,做了10个多小时才索引完。后来换了Hadoop,同样的四台机器,只要20分钟就完成了。当然不是直接上hadoop就能提速那么多,还是需要做很多地方...

2009-02-22 21:31:00

阅读数:5677

评论数:1

饭桶网的粤菜Top 10

用Python做的爬虫。JFreeChart画的图。 

2008-02-21 21:58:00

阅读数:1974

评论数:0

手机蓝牙开发

         终于实现了手机的蓝牙与PC的蓝牙之间的通信。手机上用的是J2ME,PC上用的是Python。          不知道是网上的代码有问题,还是我用的手机比较奇怪,服务发现部分的代码,一直不能使用。能发现设备,但就是不能发现服务,最后,不知道怎么试阿试,使用selectServic...

2008-02-17 21:00:00

阅读数:2222

评论数:0

Programming Collective Intelligence笔记 - Document Filtering

1.1.       Filtering Spam过滤广告的时候,我们第一步就是把文档进行分类,然后就是把文档进行分词,每个词都直接继承文档的分类。这样通过一些初始的训练之后,每个词都会出现在某一个或某几个分类当中。这样我们就得到了某一个词出现在某一个分类当中的概率P(W/C) = W在C中出现的...

2008-01-17 10:14:00

阅读数:1531

评论数:0

Programming Collective Intelligence笔记 - 最优化

1.        最优化最优化要解决的问题是,当我们面对的问题有多种解决方案时(数量级比较大),我们应该通过什么方法来找到最优的方案。 1.1.       Cost函数在考虑最优解时,我们首先需要定一个一个Cost函数,他的作用就是把我们的解决方案量化为一个数值。 1.2.       随机算...

2008-01-07 16:49:00

阅读数:1803

评论数:0

Programming Collective Intelligence笔记 - Ranking

在搜索时,当我们有多个搜索结果时,我们需要对结果进行排序,这里讲的是如何对结果进行评分,从而进行排序。

2008-01-03 10:14:00

阅读数:1727

评论数:0

Programming Collective Intelligence笔记 - Discovering Groups

1.1.       Hierarchical Clustering使用类似于Huffman编码时的合并方式。假设有N个节点,每个节点的值都是一个向量。通过第二章介绍的寻找相似物品的公式,我们可以计算任何两个向量间的距离。把距离最小的两个向量合并,生成一个新的节点,该节点的向量值是被合并的两个节点...

2007-12-25 17:43:00

阅读数:1658

评论数:0

Programming Collective Intelligence笔记 - Making Recommendations

1.        Making Recommendations1.1.       寻找相似用户1.1.1.      Euclidean distance在计算该值时,只考虑两个用户都进行了评分的项目。每一项作为一个坐标,然后算欧几里德距离。值越小越相似。1.1.2.      Pearson...

2007-12-13 22:18:00

阅读数:1706

评论数:0

Google - 数学之美系列 - 我的小结

今天从头到尾的把吴军研究员写的数学之美系列又阅读了一遍。打算从程序员的角度,把与搜索引擎相关的内容整理一下。要做一个搜索引擎,首先就得把尽量多的网页下载回来。而为了能获得尽量多的网页,就需要对互联网进行一个遍历?这里面用到的就是图论的内容,遍历可以分为两种深度优先或广度优先。当然在遍历过程中需要标...

2007-12-10 14:07:00

阅读数:1648

评论数:0

Tapestry - URL Encode

在Tapestry内部,URL的encode主要包含了3部分的内容。首先就是Page,就是链接应该指向的.page文件。第二部分就是链接本身所需要带的参数,即事件回调时需要传入的值。第三部分是持久参数,也就是通过@Persist定义的参数。 1.      Pagea)        说明:当你使...

2007-08-30 14:22:00

阅读数:3044

评论数:1

Tapestry - Page Enhance

1.      Tapestry提供的页面加强a)        说明:Tapestry的Page Enhancement的配置是在tapestry.enhance.xml内部。b)        配置文件:contribution configuration-id="Enhanceme...

2007-08-17 11:52:00

阅读数:1993

评论数:0

Tapestry - 页面加载之二

1.      页面创建a)        说明:页面创建主要是指当页面文件被找到以后,如何根据声明中的信息,初始化页面类及其控件树。b)        流程图:<v:shapetypeid="_x0000_t75" coordsize="21600,21600...

2007-08-13 15:05:00

阅读数:2031

评论数:0

Tapestry - 页面加载之一

1.      页面查找a)        说明:在Tapestry当中,由于我们主要用到的是PageService,所以这里的流程和代码都是参考的PageService。我们根据之前的解释,得到当前要显示的页面名称。首先从缓存当中查找页面是否被加载了。 b)        流程图:<v:s...

2007-08-08 17:48:00

阅读数:2261

评论数:0

Tapesty系列之一 --- 系统初启及请求处理

1.      系统启动a)        说明:Tapestry启动时,采用的仍然是典型的HttpSerlvet的启动模式。在初始化的时候,他将加载用户定义的hivemodule.xml文件,并利用ApplicationInitializer存储整个Web应用的上下文,例如ServletCont...

2007-07-26 16:42:00

阅读数:2758

评论数:0

Hivemind简介

1.      一个完整的例子a)        目录结构|--|  |--META-INF|  |--|     |--hivemodule.xml|  |--log4j.properties||--nick|--Test.java|--IHello.java|--IMessageBuilder...

2007-07-25 15:18:00

阅读数:4039

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭