大数据基础理论—一致性模型分类

0. 前言

从严格意义上来说,理想情况下的一致性模型只有一种就是强一致性模型,但是在真实世界中强一致性是很难被保证的,很多情况下都是弱一致性。主要是基于CAP理论,大多数互联网应用对于可用性有很高的要求,这样就会适当的降低一致性。

一致性模型主要包括:强一致性、弱一致性、因果一致性、读你所写一致性、会话一致性、单调读一致性以及单调写一致性。

1. 强一致性

对于连接到数据库的所有进程,看到的关于某数据的数据值都是一致的。很好理解,就是对于一个数据不管有多少个副本,在任意时刻对任意一个副本访问得到的结果都是一样的。

2.最终一致性

无法保证某个数值做出更新之后,所有针对该值的后续操作都能够看到新值,而需要一一段时间来保证一致性,在一段时间之后能够保证后续操作看到的都是新值。

3. 因果一致性

因果一致性发生在进程之间有相互依赖关系的情形下。例如AB两个进程相互依赖,那么如果A对某个变量进行更新,他在更新之后会通知B,这时候B看到的就是新值,但是如果还有进程C,那么C看到的值可能还是旧值。

4. 读你所写一致性

其是因果一致性的一个特例,进程A对数据做了更新之后,会立马给自己发送一个通知,所以进程A在之后的操作都是以新值为基础进行的。

5. 会话一致性

当进程A通过会话与数据库进行连接时,在同一个会话中,可以保证读你所写一致性。而在不一致窗口内,如果因为系统故障等原因导致会话终止,那么进程A仍旧可能读出旧值。

6.单调读一致性

如果一个进程读取到数据的某个版本V2的值,那么系统后续的所有读操作都不能看到比V2更老的版本的数值。

7. 单调写一致性

对于某个进程来说,单调写一致性可以保证其多次写操作的序列化。

  • 在实际的系统中要根据具体的情况来选择合适的一致性模型。
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据大数据经济学 作者:梁馨予 来源:《西部论丛》2019年第09期 摘 要:随着大数据的快速发展,当前我国的经济学也受到了严峻的考验和机遇。针对于传 统经济学的分析,我们能够充分的意识到其应用信息化技术的领域是较少的,并没有充 分的发挥出信息化的价值和作用。但是在大数据经济学出现的背景下,更好的为经济的 长远发展提供保障基础,推动了大数据大数据经济学的长远发展。因此,本文我们将 围绕大数据大数据经济学为主题来展开分析,通过详细了解一下当前大数据大数据 经济学发展产生的具体影响,再进一步分析当前大数据经济学的发展现状以及未来的发 展趋势。 关键词:大数据 大数据经济学 一、针对于大数据大数据经济学发展产生具体影响的分析 随着社会的发展,我国的大数据有着更加广阔的发展空间。在大数据发展的背 景下,给经济学的发展也产生了很大的影响。首先,大数据研究的对象渐渐地从样本转 变成为总体针对于传统的经济学来说,人们对数据的检查一般都是通过抽样的形式来展 开的,但是由于抽样的样本较少,同时也是由于条件的限制,促使检验的结果准确性不 高。但是,在当前很多的实验室中,仍然引用抽样的手段。不可否认,在实际的应用过 程中这种手段不足以让人们得到信服。例如,当社会公众对政府统计部门公布的物价指 数以及基尼指数产生怀疑时,当社会公众采用抽样的形式来对样本进行研究的过程中将 会大大的提升偶然性。在大数据时代下这种研究手段也已经不再适用,当前比较常用的 手段是大数据方法,它能够将总体来作为研究对象从而进行科学有效的处理和分析。这 种研究手段不仅仅提高了数据的处理效率,也避免了偶然性,显著的提升了准确性[1]。 其次,对于以往传统的经济学研究来说,当人们进行经济学研究时,一定要先 提出一个假设,然后再根据假设来制定出合理的数学模型,才能够进行下一步的统计和 检验,从而来验证自己的假设是否正确,但是当大数据出现以后,也就改变和抛弃了这 一复杂的检验手段,而是通过利用大量的数据信息和人工智能的形式来实现数据的加工 和处理,从而更加充分地挖掘数据信息之间存在的联系和关系,来得出相应的结论。这 也在一定程度上提升了检验形式的多样性,促使经济学的发展也呈现出多样化,帮助人 民群众更好的完成决策任务[2]。 二、针对于在当前社会中大数据经济学发展的分析 大数据经济学的发展,给传统的经济学也带来了严重的冲击。我认为当大数据 经济学的概念从一开始提出来以后,也就对传统经济学提出了挑战。但是又不可否认, 传统经济学和大数据经济学两者也存在着一种互补共存的关系。因为当大数据理论在提 出时,并没有具备相对完备的理论,其技术的发展也相对不太成熟。但是随着近几年快 速发展,大数据经济学信息处理速度也越变越快,准确度显著的提升,大大的降低了人 力成本,这也是时代发展的基本要求,这都是大数据经济学对传统经济学提出的挑战和 考验。但是,我国还是以传统经济学为主。随着大数据经济学的持续发展,我相信在不 久的将来两者将会达到一种平衡。传统经济学也将会为大数据经济学的发展提供帮助和 引导,帮助大数据经济学解决其不能解决的问题,或者获取一些大数据经济学不能够获 取的数据,更好地为我国的经济学的可持性发展奠定坚实的基础[3]。 大数据是现代社会中信息技术发展的主要产物之一,所以说,大数据经济学和 信息经济学融合也是时代发展的必然结果。如果我们从宏观经济学的角度来进行分析, 大数据主要是应用在特殊产品的生产流通以及利用等各个流程上。从微观经济学的角度 来进行分析和研究,则是对信息的不对称问题以及市场模型中假设的修正,这在很大程 度上表明其和大数据经济学的发展方向存在着一致性,信息经济学也能够更好的推动大 数据经济学的可持续性发展,如果在以后两者能够有效的融合,将会为我国社会提供更 多的就业岗位,从而推动我国社会经济的快速发展,大幅度的降低我国人民群众存在的 就业压力,更好地为我国社会主义建设提供服务和贡献力量。 三、针对于在以后社会中大数据经济学发展趋势的分析 在以后社会的发展中,我认为大数据经济学具有广阔的发展空间,但是由于当 前到大数据经济学还处于发展阶段,也就说明其还不太成熟,所以在对理论实施的过程 中,也不太深刻和扎实。但是我相信在不久的将来,大数据经济学将會有着更大的进步 空间。并且在借助信息技术的背景下,将会不断地扩大大数据经济学理论,能够更好的 适应国家现代化的各项发展要求。除此之外,自然学科以及社会学科两者的有效结合, 也能够为大数据经济学的发展提供机遇,促使大数据经济学能够更加自然和统一,最终 为我国经济的快速发展提供保障基础[4]。 总 结 通过上述问题的分析,我们详细的了解到大数据大数据经济学的发展是社会 发展的需要,也是必然要求。随着大数据经济学的出现,进一步对传
科技资讯 2013 NO.30 SCIENCE & TECHNOLOGY INFORMATION 信 息 技 术 11 科技资讯 SCIENCE & TECHNOLOGY INFORMATION 大数据时代业已到来, 当今世界正处 在一个数据爆炸的时代。 伴随着多媒体、 云 计算、 物联网、 社交网络等技术的发展,以 及天文观测、 空间地理、 金融分析等各领域 每天都在产生巨量的数据,这些数据如此 庞大,其规模、 其涌现速度和其处理难点超 出目前常规技术能管理、 处理和分析的能 力[1]。 一般来说,大数据具有量大(Volume)、 流动性大(Velocity),种类多(Variety),分布 式(distributed)、 非一致(nonuniformity)等特 性,这些特点决定了在大数据时代,我们传 统的数据处理技术必须有革命性的变化, 包括数据的存储与组织方式、 计算方法、 数 据分析,而对大数据的智能分析技术将尤 为重要。 1 几种传统智能数据分析方法的比较 大数据智能分析需要有新的理论和技 术的突破,但它与传统的智能数据分析方 法必定还有延续。 传统的数据分析领域,如 知识库系统、 数据仓库、 数据挖掘等已经积 累了很多优秀的理论和技术,下面对其中 的一些典型理论和技术的梳理。 1.1 决策树 决策树(Decision Tree)是在已知各种情 况发生概率的基础上,通过构成决策树来 求取净现值的期望值大于等于零的概率, 评价项目风险,判断其可行性的决策分析 方法,是直观运用概率分析的一种图解法, 它是建立在信息论基础之上对数据进行分 类的一种方法。 首先通过一批已知的训练 数据建立一棵决策树,然后采用建好的决 策树对数据进行预测。 决策树的建立过程 是数据规则的生成过程,因此,这种方法实 现了数据规则的可视化,其输出结果容易 理解,精确度较好,效率较高,缺点是难于 处理关系复杂的数据。 常用的方法有分类 及回归树法、 双方自动交互探测法等。 其中 分类树主要用于数据记录的标记和归类, 回归树主要用于估计目标变量的数值[2]。 1.2 关联规则 关联规则分析发现大量数据中项集之 间有价值的关联或相关联系,就是要建立 形 如 X Y 的 蕴 涵 式 , 其 中 X 和 Y 分 别 称 为 关 联 规 则 的 先 导 ( an te ce d en t) 和 后 继 (consequent)。 关联规则一般应用在事物数 据库中,其中每个事物都由一个记录集合 组成。 这种事物数据库通常都包括极为庞 大的数据,因此,当前的关联规则发现技巧 正努力根据基于一定考虑的记录支持度来 削 减 搜 索 空 间 。 关 联 规 则 的 常 见 算 法 有 Apriori算法、 基于划分的算法、 FP-树频集 算法等。 1.3 粗糙集(Rough Sets) 粗糙集智能数据分析是粗糙集理论中 的主要应用技术之一,是一种基于规则的 数据分析的方法。 其思想主要来自统计学 和机器学习,但并不是这两种工具随意的 应用,它以粗糙集理论为基础,以数据表所 表示的信息系统为载体,通过分析给定数 据集的性质、 粗糙分类、 决策规则的确定性 以及覆盖度因子等过程,从中获取隐含的、 潜在有用的知识。 用粗糙集理论进行数据分析主要有以 下优势:它无需提供对知识或数据的主观 评价,仅根据观测数据就能达到删除冗余 信息;非常适合并行计算、 提供结果的直接 解释。 1.4 模糊数学分析 用模糊(Fuzzy sets)数学理论来进行智 能数据分析。 现实世界中客观事物之间通 常具有某种不确定性。 越复杂的系统其精 确性越低,也就意味着模糊性越。 在数据 分析过程中,利用模糊集方法对实际问题 进行模糊评判、 模糊决策、 模糊预测、 模糊 模式识别和模糊聚类分析,这样能够取得 更好更客观的效果。 模糊分析方法不足主要表现在: 用户 驱动,用户参与过多;处理变量单一,不能 处理定性变量和复杂数据,如非线性数据 和多媒体数据;发现的事实或规则是以查 询为主要目的,对预测和决策影响不大,而 且过分依赖主观的经验。 1.5 人工神经网络 人工神经网络是一种应用类似于大脑 神经突触联接的结构进行信息处理的数学 模型。 该模型由大量的节点(或称神经元)之 间相互联接构成。 每个节点代表一种特定 的输出函数,称为激励函数(activation function)。 每两个节点间的连接都代表一个 对于通过该连接信号的加权值,称之为权 重,这相当于人工神经网络的记忆。 网络的 输出则依网络的连接方式,权重值和激励 函数的不同而不同。 而网络自身通常都是 对自然界某种算法或者函数的逼近,也可 能是对一种逻辑策略的表达。 典型的神经网络模型主要分三大类, 即前馈式神经网络模型,反馈式神经网
大数据技术发展 大数据技术发展全文共36页,当前为第1页。 数据库技术发展历史 无库时代 层次状数据库 网状数据库 关系型数据库 分布式数据库 大数据技术发展全文共36页,当前为第2页。 层次型数据库 大数据技术发展全文共36页,当前为第3页。 关系型数据库之父:E.F.Codd 大数据技术发展全文共36页,当前为第4页。 关系型数据库 1970年,Codd划时代的论文 《用于大型共享数据库的关系数据模型》 关系与关系代数 大数据技术发展全文共36页,当前为第5页。 SQL之父 唐·钱伯林(Don Chamberlin),是IBM Fellow,ACM及IEEE 特别会员。他是SQL关系数据库语言的发明人之一,也是XQuery语言的设计基础Quilt语言的发明人之一。Don拥有加利福尼亚大学博士学位。他目 前在IBM Almaden 研究中心工作,在过去几年中,他代表IBM参与W3C XML Query工作组的工作。 大数据技术发展全文共36页,当前为第6页。 左起 Ed Oates、Bruce Scott、Bob Miner、Larry Ellison 大数据技术发展全文共36页,当前为第7页。 Oracle CEO Larry Ellison 大数据技术发展全文共36页,当前为第8页。 大数据技术发展全文共36页,当前为第9页。 大数据技术发展全文共36页,当前为第10页。 变化来了之一:数据量爆炸增长 大数据技术发展全文共36页,当前为第11页。 全球每秒钟发送290万封电子邮件,一分钟读一篇的话,足够一个人昼夜不息的读5.5年… 每天会有2.88万个小时的视频上传到Youtube,足够一个人昼夜不息的观看3.3 年… 推特上每天发布5千万条消息,假设10秒钟浏览一条信息,这些消息足够一个人昼夜不息的浏览16 年… 每天亚马逊上将产生6.3百万笔订单… 每个月网民在Facebook上要花费7千亿分钟,被移动互联网使用者发送和接收的数据高达1.3EB Google上每天需要处理24PB的数据… 大数据时代到来 大数据技术发展全文共36页,当前为第12页。 变化来只二:非结构化类型增加成主流 大数据技术发展全文共36页,当前为第13页。 大数据来源 大数据技术发展全文共36页,当前为第14页。 TB PB ZB EB 大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长 根据IDC 监测,人类产生的数据量正在呈指数级增长,大约每两年翻一番,这个速度在2020 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量 数据量增加 数据结构日趋复杂 这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴 大数据时代已经来临.. 大数据的兴起 大数据技术发展全文共36页,当前为第15页。 "大数据或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。"(维基百科) "大数据是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。"(百度百科) "大数据是人们获得新认知、创造新价值的源泉,还是改变市场组织机构,以及政府与公民关系的方法 。"(《大数据时代》) "大数据是数据量在10TB以上、需要采用新兴的大数据技术加以收集、处理和应用,以展现更多社会、商业价值的数据。"(个人总结) 大数据的诠释 大数据技术发展全文共36页,当前为第16页。 非结构化处理案例(BigTable) 大数据技术发展全文共36页,当前为第17页。 数据变革的现实驱动力 数据量爆炸性增长 需要分布式存储 数据类型增加 需要半结构化存储 数据模型日渐复杂 化关联的需求 PC服务器成本下降 PC服务器大行其道 大数据技术发展全文共36页,当前为第18页。 数据变革的理论驱动力-CAP理论 CAP(Consistency,Availability,Patition tolerance)又叫做布鲁尔定理(Brewer's theorem),它指出对于一个分布式计算系统来说,不可能同时满足以下三点理论论述的是在任何分布式系统中,只可能满足一致性,可用性及分区容忍性三者中的两者,不可能全部都满足。所以不用花时间精力在如何满足所有三者上面。 对于分布式数据系统,分区容忍性是基本要求 对于大多数web应用,牺牲一致性而换取高可用性,是目前多数分布式数据库产品的方向。 大数据技术发展全文共36页,当前为第19页。 大数据技术发展全文共36页,当前为第20页。 变革的方向NOSQL ? NEWSQL? Nosql 是 not only sql ,并不是没有sql,是

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值