- 博客(11)
- 收藏
- 关注
RSS订阅原创 MongoDB使用
1、预分片（shard）mongodb通过对数据的横向切分，将一个collection的数据分布到不同的片中。不同的片可以部署在不同的主机上，在数据分布均衡的情况下，可以同时对不同片内的数据进行增删改查操作，从而提升整个系统的吞吐量。mongodb存储数据的基本单元是chunk，chunk分布在各个片中，写入数据时，chunk会逐渐增大，当超过一个阀值时，会分裂成两个片，数据就会同
2014-08-05 10:30:45
742
原创 mongo-java-driver连接池
MongoDB的连接对象是DBPort，所以可以从DBPortPool对象看起，构造函数如下：DBPortPool( ServerAddress addr , MongoOptions options ){super( "DBPortPool-" + addr.toString() + ", options = " + options.toString() ,options.
2014-08-05 10:28:47
1160
原创 基于“好莱坞原则”的分布式文件存储系统
“Don’t call us, we’ll call you”，这就是著名的好莱坞原则。在软件工程中，“控制反转”（IOC）作为对这个原则的应用被广大IT人所熟知，在著名的Springframework中，所有组件的生命周期管理都由容器来负责，因此应用能够在透明的情况下，得到想要的组件为其服务，从而为更换服务组件提供了极大的灵活性。在本发明中，也是通过这种“主动权移交”的方式，在应用发出服务请求后
2014-06-10 10:24:48
770
原创 关于梦想
今天参加公司组织的职业生涯的轮训，提到了关于梦想的意义和价值。这也引起了我的思考。 我觉得梦想是一件能够驱动一个人为了达成一件事不停的坚持，并努力寻找途径去达成这件事。人是为了实现梦想后的成就感才去这么做吗？这是一个具有两面性的问题，到底是人为了成就感去实现梦想，还是因为实现了梦想，成就感只是一个side effect？如果只是为了成就感，我想人会很快放弃梦想，毕竟做什么事都可能会有成
2014-05-15 12:41:53
647
翻译 Ambari系统架构设计
设计目标平台无关。如果服务于平台有关，需要有良好设计的可插拔接口可插拔组件：不能假定特殊的工具或技术。任何特殊的工具或技术都要跟组件封装在一起。与组件的依赖只包括puppet来管理配置，数据库来保存状态。可管理组件的版本，而不影响集群的状态。扩展性：可以很容易的添加服务、组件和API，修改配置。也需要考虑不只是支持HDP，而是整个Hadoop栈。在任意组件失败时，系统应该保持可用。系统应该
2014-04-22 22:04:45
2342
翻译 Lily系统调查
1、架构 Lily系统是由客户端、LilyNode、Hadoop、HBase、Solr、Zookeeper共同组成的一个复杂系统，利用HDFS存储blob、HBase存储元数据和表记录、Zookeeper来存储表schema和节点信息、Solr提供查询功能。 HBase：存储表数据。 HDFS：存储blob。但也会把过小的文件直接存储在HBase
2014-04-22 21:58:55
1195
原创 谁能将传统企业带入大数据时代？ -- DTCC数据库大会感想
大会的倒数第二场演讲是天猫的周祥军讲解的“天猫商品详情页满意度模型”，他讲解的内容涉及到太多我不了解的专业知识，所以我也没怎么仔细听，只是到最后主持人的一席话引起了我的注意。周祥军给自己的定位是“搜索技术专家”，主持人说不如叫“数据科学家”更加贴切。在美国，已经有多家大学颁发“数据科学家”学位了，而且据主持人的分析，“数据科学家”的崛起在国内是早晚的事儿，五年之内对数据科学家的需求将会有一个爆发性
2014-04-22 21:08:51
948
原创 使用ambari搭建hadoop集群(local)
Ambari是Hortonworks开源的一个管理和安装hadoop集群的工具，跟ClouderaManager类似。1、系统要求 1.1、操作系统要求 都要求是64位操作系统。 Red Hat EnterPrise Linux：5.x 或 6.x CentOS：5.x 或 6.x ...
2013-08-30 09:03:58
241
mongo-java-driver连接池
MongoDB的连接对象是DBPort，所以可以从DBPortPool对象看起，构造函数如下：DBPortPool( ServerAddress addr , MongoOptions options ){super( "DBPortPool-" + addr.toString() + ", options = " + options.toString() ,options.conne...
2013-08-16 08:37:38
538
MongoDB使用
1、预分片（shard）mongodb通过对数据的横向切分，将一个collection的数据分布到不同的片中。不同的片可以部署在不同的主机上，在数据分布均衡的情况下，可以同时对不同片内的数据进行增删改查操作，从而提升整个系统的吞吐量。mongodb存储数据的基本单元是chunk，chunk分布在各个片中，写入数据时，chunk会逐渐增大，当超过一个阀值时，会分裂成两个片，数据就会同时写入...
2013-08-16 08:35:39
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人