LBSN/Trajectory data mining
hengcai001
OpenSource、ITS、GIS、Web、Linux、LBSN、Mobile
展开
-
分布式计算开源框架Hadoop介绍 作者:岑文初 来源:InfoQ
在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数器,结合MySQL就完成了访问控制以及统计的工作。然而未来,对于海量日志分析的工作,还是需要有所准备。现在最火的技术词汇转载 2008-09-04 22:30:00 · 808 阅读 · 0 评论 -
Hadoop中的集群配置和使用技巧── 分布式计算开源框架Hadoop入门实践(二)
其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天。Hadoop可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群配置运行的过程。环境7台普通的机器,操作系统都是Linux。内存和CPU就不说了,反正Hadoop一转载 2008-09-04 22:33:00 · 660 阅读 · 0 评论