分布式存储
文章平均质量分 80
小弟季义钦
好东西要大家分享!
展开
-
MongDB应用场景(二) 使用场景和生产部署
老实说,我们不会仅根据数据库的特性做选择,还需要知道使用它的真实成功案例。这里,我提供一些广义上的MongoDB使用场景,以及一些生产环境中的示例 。1. Web应用程序MongoDB很适合作为Web应用程序的主要数据存储。就算是一个简单的Web应用程序也会有很多数据模型,用来管理用户、会话、应用特定的数据、上传和权限,更不用说非常重要的域了。正如它们能和关系型数据库的表列数据配合转载 2014-06-02 23:55:45 · 1169 阅读 · 0 评论 -
HBase概念学习(五)Java API之计数器
本文为阅读《Hbase权威指南》后笔记。1、计数器简介之前在介绍Put和Delete的时候说道过检查并修改(Check and modify),计数器类似,也是为了防止多个客户端的资源竞争导致不一致。如果没有计数器,用户需要针对一行加锁,读取一行的值,然后再加上特定的值,然后再写回并释放锁,尤其是当客户端进程崩溃之后,尚未释放的锁需要等待超时恢复,这样在一个高负载的系统中会引起原创 2014-06-18 23:10:02 · 3692 阅读 · 0 评论 -
HBase概念学习(三)Java API之CRUD(增查改删)
注意:Put,Get,Delete三个类都是Row这个类的子类,由此可见这三个类都是代表一行数据,其所有操作都是针对一行数据的操作。 (一) Put、Get、Delete1、PutNew出Put实例,需要行健作为构造器参数,一个Put实例对应一行。可以调用Htable的Put方法执行Put操作,两种执行方式:(1) 执行一个Put操作:每个Put操作都会产生一原创 2014-06-17 22:52:55 · 1277 阅读 · 0 评论 -
HBase概念学习(十)HBase与MongDB等NoSQL数据库对比
转载请注明出处: jiq•钦's technical Blog - 季义钦一、开篇淘宝之前使用的存储层架构一直是MySQL数据库,配合以MongDB,Tair等存储。MySQL由于开源,并且生态系统良好,本身拥有分库分表等多种解决方案,因此很长一段时间内都满足淘宝大量业务的需求。但是由于业务的多样化发展,有越来越多的业务系统的需求开始发生了变化。一般来说有以下几类变化:(1)原创 2014-07-27 01:19:31 · 4980 阅读 · 0 评论 -
ZooKeeper典型应用场景一览
转zi查看PDF版本ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归类的介绍。值得注意的是,ZK并非天生就是为这些应用场景设计的,都转载 2014-05-22 22:40:31 · 1052 阅读 · 0 评论 -
NOSQL(五)版本戳
《NoSQL精粹》读书笔记,转载请注明出处《jiq•钦's technical Blog》 “事务”是一个有用的工具,可以保证数据的强一致性,对于NoSQL不支持事务这一点,很多NoSQL支持者并不担心,因为面向聚合的NoSQL数据库中以聚合为单位的数据更新操作是原子的。1“事务”的局限性“事务”也有其局限性,有些更新操作无法封装到一个事务中,因为那会导致事务的打开时间过长原创 2015-04-19 22:48:22 · 1444 阅读 · 0 评论 -
NOSQL(三)分布式数据模型
《NoSQL精粹》读书笔记,转载请注明出处《jiq•钦's technical Blog》 催生NoSQL的主要原因是:需要一种能够运行在大集群上的数据库面向聚合的数据库非常适合于横向拓展的集群架构,聚合自然成为了数据分布单元,而数据分布主要有两条路:“复制(replication)”和“分片(sharding)”,复制是将同一份数据拷贝至多个节点,分片是将数据分散存放到不同节点上。原创 2015-04-15 23:46:03 · 1695 阅读 · 0 评论 -
NOSQL(一)为什么选用NoSQL?
《NoSQL精粹》读书笔记,转载请注明出处《jiq•钦's technical Blog》 关系型数据库已经成为计算机文化的一部分,因其很多优点:² 获取持久化数据可以将数据持久化到磁盘,并且很容易访问到其中一小块数据。² 并发关系型数据库中有“事务”的概念,有效保障了多个程序访问同一份数据时的一致性,事务的ACID(原子性、一致性、隔离性、持久性)特性相信大家都了熟于心了原创 2015-04-15 00:01:09 · 1673 阅读 · 1 评论 -
NOSQL(二)聚合数据模型
《NoSQL精粹》读书笔记,转载请注明出处《jiq•钦's technical Blog》 一、NoSQL的数据模型关系型数据库的数据模型是“关系”和“元组”,一个关系对应一张表,而一个元组对应一行,其中元组由一系列的值组成,不能嵌套。 NoSQL数据库最大的转变就是抛弃了关系模型。但是每种NoSQL解决方案模型都不同,大体上可以将NoSQL数据模型分为四类:“键原创 2015-04-15 00:02:07 · 2856 阅读 · 0 评论 -
NOSQL(六)集群并发计算模型Map-Reduce
《NoSQL精粹》读书笔记,转载请注明出处《jiq•钦's technical Blog》 面向聚合的数据库能够兴起,很大程度上是由于集群的增长。集群不仅改变了数据存储的规则,还改变了数据计算的方式。 集中式数据库通常两种方式处理计算逻辑:一种是在数据库服务器上执行数据计算、一种是在客户端计算机上执行数据计算。把数据库放到集群之后,采用的计算方式是将计原创 2015-04-26 22:54:39 · 1552 阅读 · 0 评论 -
Redis学习(一)安装并测试
转载请注明出处:jiq•钦's technical Blog 1、安装TCL包:备注 - TCL是一种流行的脚本语言,安装Redis需要有tcl支持:[root@bogonredis-3.0.1]# yum installtcl 2、解压下载的Redis压缩文件:[root@bogonredis-3.0.1]# cd /opt/redis/[root@bogonr原创 2015-05-17 02:30:20 · 1802 阅读 · 0 评论 -
大数据生态圈
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择。大数据,首先你要能存的下大数据。传统的文件系统是单机的,不能横跨不同的转载 2015-05-19 23:07:56 · 1087 阅读 · 0 评论 -
NOSQL(四)放宽一致性约束
《NoSQL精粹》读书笔记,转载请注明出处《jiq•钦's technical Blog》 前面已经提到过,催生NoSQL的主要原因是:需要一种能够运行在大集群上的数据库。但是从关系型数据库迁移到面向集群的NoSQL数据库,最大的一个改变就是针对一致性的思考方式。关系型数据库通过“强一致性”避免各种问题,而NoSQL并非如此。 1 更新一致性两个用户同时修改同一份数据,会发原创 2015-04-18 23:50:38 · 1706 阅读 · 0 评论 -
HBase概念学习(七)HBase与Mapreduce集成
这篇文章是看了HBase权威指南之后,根据上面的讲解搬下来的例子,这篇文章将讲解两个例子,和HBase权威指南稍微有些不一样。1、读取存储在hdfs上的txt文本数据,简单地以json字符串的形式写入到HBase表中。2、将第一步存储的HBase表中的json字符串读取出来,解析存储到新的HBase表中,可以进行查询。本文详细给出了源码以及如何运行,旨在加深HBase与mapreduc原创 2014-06-28 23:35:57 · 4698 阅读 · 0 评论 -
HBase概念学习(一)基本架构
HBase是Apache Hadoop的一个开源的、分布式、面向列族的NOSQL数据库原创 2014-06-11 23:13:25 · 1968 阅读 · 0 评论 -
MongDB应用场景(一)视觉中国从MySQL到MongDB
视觉中国的NoSQL之路:从MySQL到MongoDB作者:forchenyun on 星期四, 二月 17, 2011 · 4条评论 【阅读:8,654 次】 注:离qcon beijing 2011不远了,偶然看到qcon上深入浅出NoSQL主题的演讲嘉宾 潘凡,他将在qcon上分享的题目是《MongoDB开发应用实践(PHP/Perl)》,遂在这里分享一下转载 2014-06-02 23:52:38 · 1437 阅读 · 0 评论 -
HBase概念学习(二)JAVA API操作概览
首先看一下当前JavaAPI与Hbase数据原创 2014-06-12 22:31:16 · 1572 阅读 · 0 评论 -
分布式架构体系 - 自主研发思路介绍
在2B企业服务、云计算、移动互联网领域,专业的云平台服务里,分布式技术为支撑平台正常运作关键性技术。从商业利润和运维成本角度出发,千方百计榨干服务器的每一分性能很大程度上影响着网站的商业价值,因此对性能的追求,成为分布式架构体系中极为重要的考量指标;从用户角度,特别是作为主要收入来源的企业用户的角度出发,保证业务处理的正确性和服务不中断(高可用性)是支撑用户信心的重要来源。高性能,高可用,正确性成转载 2014-03-19 22:46:50 · 1336 阅读 · 0 评论 -
超详细单机版搭建hadoop环境图文解析
转自:http://weixiaolu.iteye.com/blog/1401931超详细单机版搭建hadoop环境图文解析 前言:年前,在老大的号召下,我们纠集了一帮人搞起了hadoop,并为其取了个响亮的口号“云在手,跟我走”。大家几乎从零开始,中途不知遇到多少问题,但终于在回家之前搭起了一个拥有12台服务器的集群,并用命令行在该集群上运行了一些简单的mapreduce转载 2014-06-07 17:55:04 · 1306 阅读 · 0 评论 -
单机版搭建HBase环境图文教程详解
转自:http://www.linuxidc.com/Linux/2012-10/72959.htm单机版搭建HBase环境图文教程详解1、下载hbase-0.92.1.tar.gz2、sudo tar –zxvf hbase-0.92.1.tar.gz –C/usr/解压压缩包到/usr目录下3、修改hbase-env.sh文件,添转载 2014-06-07 17:56:46 · 1461 阅读 · 0 评论 -
HBase概念学习(四)Java API之扫描和过滤器
HBase基本的CRUD操作就不多介绍了,无非就是Put,Get,Delete三个类的运用。现在看一下扫描技术,这种技术类似于关系型数据库的游标(cursor),并利用到了HBase底层顺序存储的特性。使用扫描的一般步骤是:1、创建Scan实例2、为Scan实例增加扫描的限制条件3、调用HTable的getScanner()方法获取ResultScanner对象4、迭代Resul原创 2014-06-16 22:25:23 · 2431 阅读 · 0 评论 -
HBase概念学习(六)java API之HTable与HTablePool
在HBase中,HTable封装表格对象,对表格的增删改查操作主要通过它来完成,构造方法如下: HTable table=new HTable(config,tableName);在构建多个HTable对象时,HBase推荐所有的HTable使用同一个Configuration。这样,HTable之间便可共享HConnection对象、zookeeper信息以及Region地原创 2014-06-23 23:25:05 · 4198 阅读 · 0 评论 -
云计算领域的一些基本概念
普及一下,云计算(大数据和虚拟化)方面好多概念。。。NOSQL数据库(分布式存储)原创 2014-06-02 00:39:04 · 1402 阅读 · 0 评论 -
HBase概念学习(八)开发一个类twitter系统之表设计
这边文章先将可能的需求分析一下,设计出HBase表,下一步再开始编写客户端代码。TwiBase系统1、背景为了加深HBase基本概念的学习,参考HBase实战这本书实际动手做了这个例子。2、需求这是一个用户推特系统,用户登陆到系统,需要维护用户的基本信息,然后用户可以发帖和其他用户进行互动。用户之间可以相互关注,用户可以浏览关注用户的推文等等。这是一个比原创 2014-06-29 23:51:46 · 3109 阅读 · 2 评论 -
HBase 在淘宝的应用和优化
本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分享给大家。目 录 [ - ]前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划前言hbase是从 hadoop中分离出来的apache顶级开源项目。由转载 2014-06-07 23:13:54 · 2646 阅读 · 0 评论 -
大数据的实时查询
最近出现了一个很火的词,叫做流式计算,原创 2014-05-28 23:39:35 · 4349 阅读 · 0 评论 -
HBase环境搭建(一)Ubuntu下基于Hadoop文件系统的单机模式
最近开始准备学习NoSQL数据库,首先原创 2014-06-07 17:41:39 · 2378 阅读 · 0 评论 -
HBase概念学习(九)HTablePool为何弃用?
我们看HConnection的getTable方法描述:getTableHTableInterface getTable(String tableName) throws IOExceptionRetrieve an HTableInterface implementation for access to a table.原创 2014-07-03 01:18:32 · 5540 阅读 · 0 评论 -
关于SQL/NoSQL数据库搜索/查询的思考
Hbase特征:最近在学习Hbase,Hbase基于行健是建立了索引的,查询速度会非常快,完全实时。但是Hbase要基于行健之外的字段进行查询,那么就只能是全盘扫描,基本上不可接受。所以Hbase一般来说会针对具体的应用场景来设计行健,利用基于行健的查询的实时性来达到Hbase数据的实时查询。 关系型数据库基于索引字段的实时查询:然后联想到关系型SQL数据库,他们针对主键是原创 2014-07-21 22:54:00 · 2854 阅读 · 0 评论