大数据
文章平均质量分 59
littlepanda_yaoyao
这个作者很懒,什么都没留下…
展开
-
谁能将传统企业带入大数据时代? -- DTCC数据库大会感想
大会的倒数第二场演讲是天猫的周祥军讲解的“天猫商品详情页满意度模型”,他讲解的内容涉及到太多我不了解的专业知识,所以我也没怎么仔细听,只是到最后主持人的一席话引起了我的注意。周祥军给自己的定位是“搜索技术专家”,主持人说不如叫“数据科学家”更加贴切。在美国,已经有多家大学颁发“数据科学家”学位了,而且据主持人的分析,“数据科学家”的崛起在国内是早晚的事儿,五年之内对数据科学家的需求将会有一个爆发性原创 2014-04-22 21:08:51 · 952 阅读 · 0 评论 -
Lily系统调查
1、架构 Lily系统是由客户端、LilyNode、Hadoop、HBase、Solr、Zookeeper共同组成的一个复杂系统,利用HDFS存储blob、HBase存储元数据和表记录、Zookeeper来存储表schema和节点信息、Solr提供查询功能。 HBase:存储表数据。 HDFS:存储blob。但也会把过小的文件直接存储在HBase翻译 2014-04-22 21:58:55 · 1200 阅读 · 0 评论 -
mongo-java-driver连接池
MongoDB的连接对象是DBPort,所以可以从DBPortPool对象看起,构造函数如下: DBPortPool( ServerAddress addr , MongoOptions options ){ super( "DBPortPool-" + addr.toString() + ", options = " + options.toString() ,options.原创 2014-08-05 10:28:47 · 1164 阅读 · 0 评论 -
MongoDB使用
1、预分片(shard) mongodb通过对数据的横向切分,将一个collection的数据分布到不同的片中。不同的片可以部署在不同的主机上,在数据分布均衡的情况下,可以同时对不同片内的数据进行增删改查操作,从而提升整个系统的吞吐量。 mongodb存储数据的基本单元是chunk,chunk分布在各个片中,写入数据时,chunk会逐渐增大,当超过一个阀值时,会分裂成两个片,数据就会同原创 2014-08-05 10:30:45 · 743 阅读 · 0 评论