挑战大数据 浅析NoSQL技术

转载 2013年12月04日 09:32:18



目前我们都生活在一个庞大的数据存数时代,然而大数据及其底层技术NoSQL也正成为了互联网的一个流行语。对于谷歌以及Facebook,IBM这样的全球互联网企业,NoSQL这种高扩展的非关系型数据库存数的使用往往已经超过关系型数据库。事实上,在海量数据和半结构化数据的一些问题过程中,已经诞生了一系列新型数据库产品,而这些数据库我们称之为NoSQL。

AD:2013云计算架构师峰会课程资料下载

【51CTO专稿】目前我们都生活在一个庞大的数据存数时代,然而大数据及其底层技术NoSQL也正成为了互联网的一个流行语。对于谷歌以及Facebook,IBM这样的全球互联网企业,NoSQL这种高扩展的非关系型数据库存数的使用往往已经超过关系型数据库。事实上,在海量数据和半结构化数据的一些问题过程中,已经诞生了一系列新型数据库产品,而这些数据库我们称之为NoSQL。

2013年4月26日-27日,由51CTO传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开。NoSQL产品千变万化,特性和价值主张各有不同,因此常常难以选择。记者深入与来自硅谷的软件开发专家,层任职于Oracle,Microsoft和Google的Ming Lei老师沟通以及对NoSQL的实际分析,总结一些观点给网友参考。

 

Ming Lei老师(左)

分布式系统和NoSQL

一个分布式系统包括很多不同的层面,它包括应用层,数据层,表现层等等,现在主要说说应用层和数据层,这两个都是分布式系统重要的组成部分,应用层一般来说是没有状态,数据层是不断的做运算让它保存状态。数据层是分布式系统里面最困难,也是最高深的一个层面。

Ming Lei老师的观点是NoSQL是分布式系统里面的一个存储器,它是分布式系统的一种。或者说是分布式系统的一个层面。 

NoSQL缓存对CDN缓存比较

在NoSQL这边缓存的代表性是Memcached,NoSQL的缓存和CDN的缓存最大的区别在于NoSQL的缓存是指在数据层的缓存,并不是应用层的缓存,也不是网络层的缓存,所以它的缓存是比较原始的数据。比方说这个应用逻辑里面的事务,并不是最终给用户看的结果,那么我们在网络这一层做缓存的话,最常见的技术叫CDN,它的英文叫做ContentDeliveryNetwork,它一般是在网络的末端靠近用户的那一端的一些网络服务器上缓存一些具体的网页。

Memcached:

  1. Free & open source, high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dynamic web applications by alleviating database load.  
  2. Memcached is an in-memory key-value store for small chunks of arbitrary data (strings, objects) from results of database calls, API calls, or page rendering. 

MemCache – Architecture

  1. Sharding in client code to select server.  
  2. Peer-to-Peer Server instances.  
  3. Server uses in-mem storage.  
  4. Potentially expand to persistent store. 

MemCache – Usage Characteristics

  1. Object-level Consistency, Isolation and Atomicity.  
  2. No persistent storage  
  3. No replication for load-balancing or failover  
  4. Consistency + Partition-tolerance in CAP 

NoSQL安全性分析

其实系统可以在不同的层面去解决安全性的问题,不一定要求系统每个层面都要去解决安全性的问题,比方说分布式存储系统,它一般是个存储服务,从请求拿到结果,所以必然有一个远程网络调用,一个比较有利的解决方案是在网络调用这块解决安全性的问题,比如加上一些安全性的管理(用户授权,用户登陆),而不是在分布式存储运算里面去解决这个问题。


Hadoop多维分析平台架构图

NoSQL and SQL

在Ming Lei老师看来其实是两者的应用场景不一样。当我们针对的是互联网的用户,消费者,这样的应用根据我们的经验是它对事务的要求较为低,而企业应用它对事务的要求很高,比如说一个企业里面的财会,物流,人事,它往往都是公用同样的一套数据库,所以它对事务的要求会比较高。

比如说你把一个网站建在服务上面,这个时候你的事务的这个层面可能只是说一个账户,也就是说你对数据库的要求低,同时你的数据量又非常大,这个时候我们需要一种不同关系型数据库的解决方案,这种解决方案就叫做NoSQL。它最大的区别在于要求的数据量大,对事物的要求低。

NoSQL数据库的对比图(点击扩大)

NoSQL未来

我觉得目前在互联网上比较多见的应用场景是,数据量特别大,对事务的要求相对低,或者事务的层面比较窄,结构比较小。对这样一些应用NoSQL是未来的一个发展方向。

但是,有些企业级的应用还是必须得使用关系型数据库,目前在工业这一块还没有这样的一个趋势去把企业应用的关系型数据库变成NoSQL。

大数据挑战与NoSQL数据库技术pdf

下载地址:网盘下载  内容简介编辑  《大数据挑战与nosql数据库技术》对大数据时代面临的挑战,以及nosql数据库的基本知识做了清晰的阐述,有助于读者整理思路,了解需求,并更有针对性、有选择地深入...
  • cf406061841
  • cf406061841
  • 2017年08月31日 01:11
  • 198

13673818_NoSQL数据库技术实战.pdf 英文原版 免费下载

下载地址: 13673818_NoSQL数据库技术实战.pdf
  • jiongyi1
  • jiongyi1
  • 2018年01月06日 12:39
  • 66

NoSQL 与大数据

概览一下大数据项目中可以使用的数据存储技术,展示如何使用以及它们的区别。先理解一下NoSQL领域中各种不同的技术:key/value, 列存储,文档型和graph 图存储,然后聚焦于Couchbase...
  • wireless_com
  • wireless_com
  • 2016年05月25日 22:17
  • 27134

大数据可视化的方法、挑战及进展

大数据可视化的方法、挑战及进展 摘要:在简化数据量和降低大数据应用的复杂性中,大数据分析发挥着关键的作用。可视化是其中一个重要的途径,它能够帮助大数据获得完整的数据视图并挖掘数据的价值。大数据分析和...
  • bestlove12345
  • bestlove12345
  • 2016年06月24日 09:06
  • 5077

大数据时代的SQL、NoSQL和NewSQL

随着Hadoop/Spark技术的蓬勃发展,用于解决大数据分析的技术平台开始涌现。Hadoop/Spark凭借性能强劲、高度容错、调度灵活等技术优势已渐渐成为主流技术,业界大部分厂商都提供了基于Had...
  • willtongji
  • willtongji
  • 2016年10月20日 17:01
  • 3213

大数据测试挑战&大数据性能测试挑战

大数据测试挑战 自动化 大数据的自动化测试需要有技术专长的人员。此外,自动化工具未配备处理测试期间出现的意外问题 虚拟化 它是测试的整体阶段之一。虚拟机延迟会在实时大数据测试中产生时序问题。在...
  • henni_719
  • henni_719
  • 2017年02月07日 17:28
  • 1078

大数据融合技术:问题与挑战

大数据融合技术:问题与挑战本文为《大数据融合研究:问题与挑战》的总结。概述数据的特点: 多元性——数据类型多样;数据内容“维度”多样;数据所涉及的知识范畴的“粒度”多样 演化性——指数据随时间或解释的...
  • Subson
  • Subson
  • 2017年06月19日 18:30
  • 621

mongodb nosql 大数据提高查询速度-索引

IT互联网知识分享 2017-05-07 03:10 介绍: 索引在很多数据库中是提高性能的标志优化手段,所以在大数据量的情况下索引可以提高数据的查询速度,如果没有索引MongoDB会扫描...
  • u011277123
  • u011277123
  • 2017年05月12日 13:45
  • 838

挑战响应技术

一种有效的验证技术用户传一个口令给远程主机,远程主机根据口令传给用户一个挑战信息(加密后的信息),用户根据自己的口令,结合相应的算法,生成一个响应信息去根挑战信息匹配,如果匹配成功,那么认证成功;若匹...
  • z_shaowu
  • z_shaowu
  • 2011年03月03日 12:16
  • 3415

NoSQL 数据库索引 总结

SQL数据库索引深度解析地址: http://www.cnblogs.com/hustcat/archive/2009/10/28/1591648.html - 索引分为聚簇索引和非聚簇索引两种,...
  • m0_37204491
  • m0_37204491
  • 2017年06月03日 16:49
  • 719
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:挑战大数据 浅析NoSQL技术
举报原因:
原因补充:

(最多只允许输入30个字)