NoSQL
cywhoyi
这个作者很懒,什么都没留下…
展开
-
eclipse下hadoop开发
环境:ubantu12.4 EclipseJuno apache hadoop1.1.2 如果安装插件成功,打开Window-->Preferens,你会发现Hadoop Map/Reduce选项,在这个选项里你需要配置Hadoop installation directory。配置完成后退出。 3.配置Map/Reduce Locations。 在Window-->Sho...原创 2013-06-13 13:34:41 · 136 阅读 · 0 评论 -
hadoop实战多表关联
多表关联处理获取结果,大致意思把数据切割成左右表 package org.apache.hadoop.examples; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs....原创 2013-07-18 13:38:49 · 173 阅读 · 0 评论 -
轻量级的对象池
Pool在N多环境下碰到,比如连接池、线程池、缓存池... 当某一对象从池中取得,那只有等待被用完放回去以后,其它的线程才能再次从池中获取。对象在池中是具有自己生命周期:创建、验证、使用、销毁等等。Pool的方式也许是最好的方式用来管理同一的资源。 运用的场景: 高频率的运用同一的资源 对象大且很消耗内存(DB连接) 需要长时间的初始化 IO消耗大 对象非线程安全 A...2013-10-10 16:32:57 · 100 阅读 · 0 评论 -
数据处理基于DataMicroservices实现
背景: 谈到微服务化,肯定会想到容器,谈到java的微服务化,势必也想到spring cloud,但是谈到数据微服务化,可能或多或少大家不太理解。Data Microservices被提出来,是要解决现在数据时代下,需要解决如下几个痛点问题,不分先后次序: 数据来源错综复杂,mq、rest、jdbc、log等 数据的信息结构复杂多样化 数据量很大,想象下爬虫、电商平台、新零售等 容器...2017-12-29 13:45:48 · 274 阅读 · 0 评论