架构设计
文章平均质量分 62
chuanzhongdu1
这个作者很懒,什么都没留下…
展开
-
乐观离线锁
对于数据高并发的情况下必须要考虑数据不一致问题,如果不一致的问题发生率不是很高,可以使用乐观离线锁实现机制:版本号:在数据库中增加一个版本号,每次更新是+1,当提交或者更新时比较提交数据与当前数据的版本号,比较成功就提交。字段比较:更新where语句中加入字段的比较。比较数据:如果数据来自非常灵活的查询结果,就不能用上述两个机制了,只能提交时与数据库记录比较。在高并发的情况下,原创 2011-12-31 15:49:20 · 1160 阅读 · 0 评论 -
Google Dremel 原理 - 如何能3秒分析1PB
简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群,处理PB级别的数据。MapReduce处理一个数据,需要分钟级的时间。作为MapReduce的发起人,Google开发了Dremel将处理时间缩短到秒级,作为MapReduce的有力补充。Dremel作为Google BigQuery的report引擎,获得了很大的成功。最近Apache计划推出Dreme转载 2012-12-28 09:28:24 · 601 阅读 · 0 评论 -
dataops简介
DataOps(数据操作)是一门新兴学科,将DevOps团队与数据工程师和数据科学家角色结合在一起,提供一些工具、流程和组织结构服务于以数据为中心的企业。和DevOps一样,DataOps方法也从敏捷方法中获得了启发。DataOps方法很重视持续交付分析见解,其主要目的是满足客户需求。 DataOps团队重视分析工作。他们通过所提供的见解来衡量数据分析工作的性能。DataOps团队会接受变化,并始...原创 2018-05-30 10:03:47 · 8163 阅读 · 0 评论 -
IoT架构
IoT架构主要分为四个阶段下面分别说明阶段一:传感机产生数据并且将数据转换成有用数据,比如手机位置信息等等除了传感器还包括制动设备也会产生数据,比如它会切断电源,开关阀门等动作传感器与制动设备包括很广,机器人相机,空气质量监控,心跳监控,水位预警,这些设备多数是无线装置或者非电源设备数据的处理可能发生在四层中的不同层,这需要根据需求的场景与机器的能力来选择 ,比如需要深度学习,就需要将数据传入数据...原创 2018-06-06 09:57:23 · 6230 阅读 · 0 评论