- 博客(11)
- 收藏
- 关注
原创 MongoDB使用
1、预分片(shard)mongodb通过对数据的横向切分,将一个collection的数据分布到不同的片中。不同的片可以部署在不同的主机上,在数据分布均衡的情况下,可以同时对不同片内的数据进行增删改查操作,从而提升整个系统的吞吐量。mongodb存储数据的基本单元是chunk,chunk分布在各个片中,写入数据时,chunk会逐渐增大,当超过一个阀值时,会分裂成两个片,数据就会同
2014-08-05 10:30:45 749
原创 mongo-java-driver连接池
MongoDB的连接对象是DBPort,所以可以从DBPortPool对象看起,构造函数如下:DBPortPool( ServerAddress addr , MongoOptions options ){super( "DBPortPool-" + addr.toString() + ", options = " + options.toString() ,options.
2014-08-05 10:28:47 1172
原创 基于“好莱坞原则”的分布式文件存储系统
“Don’t call us, we’ll call you”,这就是著名的好莱坞原则。在软件工程中,“控制反转”(IOC)作为对这个原则的应用被广大IT人所熟知,在著名的Springframework中,所有组件的生命周期管理都由容器来负责,因此应用能够在透明的情况下,得到想要的组件为其服务,从而为更换服务组件提供了极大的灵活性。在本发明中,也是通过这种“主动权移交”的方式,在应用发出服务请求后
2014-06-10 10:24:48 782
原创 关于梦想
今天参加公司组织的职业生涯的轮训,提到了关于梦想的意义和价值。这也引起了我的思考。 我觉得梦想是一件能够驱动一个人为了达成一件事不停的坚持,并努力寻找途径去达成这件事。人是为了实现梦想后的成就感才去这么做吗?这是一个具有两面性的问题,到底是人为了成就感去实现梦想,还是因为实现了梦想,成就感只是一个side effect?如果只是为了成就感,我想人会很快放弃梦想,毕竟做什么事都可能会有成
2014-05-15 12:41:53 663
翻译 Ambari系统架构设计
设计目标平台无关。如果服务于平台有关,需要有良好设计的可插拔接口可插拔组件:不能假定特殊的工具或技术。任何特殊的工具或技术都要跟组件封装在一起。与组件的依赖只包括puppet来管理配置,数据库来保存状态。可管理组件的版本,而不影响集群的状态。扩展性:可以很容易的添加服务、组件和API,修改配置。也需要考虑不只是支持HDP,而是整个Hadoop栈。在任意组件失败时,系统应该保持可用。系统应该
2014-04-22 22:04:45 2360
翻译 Lily系统调查
1、架构 Lily系统是由客户端、LilyNode、Hadoop、HBase、Solr、Zookeeper共同组成的一个复杂系统,利用HDFS存储blob、HBase存储元数据和表记录、Zookeeper来存储表schema和节点信息、Solr提供查询功能。 HBase:存储表数据。 HDFS:存储blob。但也会把过小的文件直接存储在HBase
2014-04-22 21:58:55 1219
原创 谁能将传统企业带入大数据时代? -- DTCC数据库大会感想
大会的倒数第二场演讲是天猫的周祥军讲解的“天猫商品详情页满意度模型”,他讲解的内容涉及到太多我不了解的专业知识,所以我也没怎么仔细听,只是到最后主持人的一席话引起了我的注意。周祥军给自己的定位是“搜索技术专家”,主持人说不如叫“数据科学家”更加贴切。在美国,已经有多家大学颁发“数据科学家”学位了,而且据主持人的分析,“数据科学家”的崛起在国内是早晚的事儿,五年之内对数据科学家的需求将会有一个爆发性
2014-04-22 21:08:51 958
原创 使用ambari搭建hadoop集群(local)
Ambari是Hortonworks开源的一个管理和安装hadoop集群的工具,跟ClouderaManager类似。1、系统要求 1.1、操作系统要求 都要求是64位操作系统。 Red Hat EnterPrise Linux:5.x 或 6.x CentOS:5.x 或 6.x ...
2013-08-30 09:03:58 252
mongo-java-driver连接池
MongoDB的连接对象是DBPort,所以可以从DBPortPool对象看起,构造函数如下:DBPortPool( ServerAddress addr , MongoOptions options ){super( "DBPortPool-" + addr.toString() + ", options = " + options.toString() ,options.conne...
2013-08-16 08:37:38 550
MongoDB使用
1、预分片(shard)mongodb通过对数据的横向切分,将一个collection的数据分布到不同的片中。不同的片可以部署在不同的主机上,在数据分布均衡的情况下,可以同时对不同片内的数据进行增删改查操作,从而提升整个系统的吞吐量。mongodb存储数据的基本单元是chunk,chunk分布在各个片中,写入数据时,chunk会逐渐增大,当超过一个阀值时,会分裂成两个片,数据就会同时写入...
2013-08-16 08:35:39 135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人