数据处理
杰锋
这个作者很懒,什么都没留下…
展开
-
在 Ubuntu 上安装和配置 OpenStack Nova
OpenStack 是由 Rackspace 和 NASA 共同开发的云计算平台,帮助服务商和企业内部实现类似于 Amazon EC2 和 S3 的云基础架构服务(Infrastructure as a Service, IaaS)。OpenStack 包含两个主要模块:Nova 和 Swift,前者是 NASA 开发的虚拟服务器部署和业务计算模块;后者是 Rackspack 开发的分布式云存储模转载 2012-05-29 00:13:22 · 500 阅读 · 0 评论 -
从Hadoop框架与MapReduce模式中谈海量数据处理(淘宝技术架构)
从hadoop框架与MapReduce模式中谈海量数据处理 前言 几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,觉得Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到了一个我更加感兴趣的话题:海量数据处理。 由此,最近凡是空闲时,便在看转载 2011-12-20 15:37:42 · 935 阅读 · 0 评论 -
从几幅架构图中偷得半点海量数据处理经验
(注:本文只是简简单单的截几幅图而已,要想更深入的学习和了解hadoop框架和mapreduce模式,或者对淘宝的数据魔方感兴趣的话,尽可参考此文:从Hadhoop框架与MapReduce模式中谈海量数据处理。) 最近对海量数据处理发生了不小的兴趣,特此从一些精彩文章中摘取几幅精彩的图片或片段,拿来给大家分享。所谓奇文共欣赏,好Architecture共品之。至于各位能从图中是窥得半点经转载 2011-12-20 16:27:32 · 696 阅读 · 0 评论 -
在Spring、Hibernate中使用Ehcache缓存
EhCache的使用注意点 当用Hibernate的方式修改表数据(save,update,delete等等),这时EhCache会自动把缓存中关于此表的所有缓存全部删除掉(这样能达到同步)。但对于数据经常修改的表来说,可能就失去缓存的意义了(不能减轻数据库压力); 在比较少更新表数据的情况下,EhCache一般要使用在比较少执行write操作的表(包括update,insert,d转载 2013-08-18 23:45:57 · 532 阅读 · 0 评论 -
Ehcache 整合Spring 使用页面、对象缓存
Ehcache在很多项目中都出现过,用法也比较简单。一般的加些配置就可以了,而且Ehcache可以对页面、对象、数据进行缓存,同时支持集群/分布式缓存。如果整合Spring、Hibernate也非常的简单,Spring对Ehcache的支持也非常好。EHCache支持内存和磁盘的缓存,支持LRU、LFU和FIFO多种淘汰算法,支持分布式的Cache,可以作为Hibernate的缓存插件。同时它也能转载 2013-08-18 23:35:38 · 606 阅读 · 0 评论 -
java ehcache 分布式缓存配置实例
引用: http://www.open-open.com/lib//view/open1342696876495.html ehcache介绍 下面我们动手通过项目来实践下吧.[RMI方式]; 基本环境:A 分别创建两个web项目,C1和C2 分别倒入echcache的jar包; B 本例使用了两个tomcat 分别部署C1和C2 项目配置:转载 2013-08-19 00:00:42 · 918 阅读 · 0 评论 -
谷歌三大核心技术
谷歌三大核心技术(一)Google File System中文版: http://www.open-open.com/lib/view/open1328763454608.html 谷歌三大核心技术(二)Google MapReduce中文版: http://www.open-open.com/lib/view/open1328763069203.html 谷歌三大核心技术(三原创 2013-08-23 13:48:39 · 3745 阅读 · 0 评论 -
EhCache 分布式缓存/缓存集群
开发环境: System:Windows JavaEE Server:tomcat5.0.2.8、tomcat6 JavaSDK: jdk6+ IDE:eclipse、MyEclipse 6.6 开发依赖库: JDK6、 JavaEE5、ehcache-core-2.5.2.jar Email:hoojo_@126.com Blog:http://blog.cs转载 2013-08-18 23:58:54 · 694 阅读 · 0 评论 -
MongoDB 最佳实践
已经有很多关于 NoSQL 选择的文章了。影响你选择数据库的因素有:读/写操作的吞吐量,持久性,一致性,延迟性等等。Nathan Hurst 的文章“Visual Guide to NoSQL System” 很好的总结了这一点。 选择合适的NoSQL数据库并不是本文要讨论的内容,但是请你在使用NoSQL前做一些调查。没有一个数据库可以适合所有情况。这篇文章假设你选择了MongoDB。转载 2012-09-06 01:37:11 · 340 阅读 · 0 评论 -
Hadoop-- 海量文件的分布式计算处理方案
Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或转载 2012-02-25 22:18:01 · 332 阅读 · 0 评论