大数据理论与方法
白乔
这个作者很懒,什么都没留下…
展开
-
RocksDB调优指南
https://blog.csdn.net/zerooffdate/article/details/89458362本指南的目的是提供你足够的信息用于根据自己的工作负载和系统配置调优RocksDB。RocksDB非常灵活,这有好也有坏。你可以真多很多工作场景和存储技术进行调优。在Facebook,我们使用相同的代码跑内存工作压力,闪盘设备和机械硬盘。然而,灵活性不总是对用户友好的。我们引入了大量的调优参数,让人疑惑不解。我们希望这个指南会帮助你压榨你的系统的最后一滴性能并且完全利用你的资源。我们转载 2020-12-16 17:35:03 · 2311 阅读 · 0 评论 -
转变:从SQL技术栈到图技术栈
【摘要】传统的以SQL为中心的技术栈无法有效地应对大数据场景带来的多元异构数据管理、大规模关系网络管理和复杂网络分析等挑战,本文针对新型大数据技术栈展开研究。通过分析图数据模型的优势,结合图技术的发展和应用现状,提出以图为中心的新型大数据技术栈,该技术栈在生物数据网络、科技知识图谱等实际应用中得到较好的验证。尽管该技术栈的大面积推广还存在支撑工具不足、应用生态不够成熟等困难。但我们相信,以图为中心的新型大数据技术栈会在更多的大数据应用场景中发挥更大的价值。1 以SQL为中心的技术栈 1969年,C转载 2020-09-01 13:00:59 · 2144 阅读 · 0 评论 -
如果有人问你数据库的原理,叫他看这篇文章
http://blog.jobbole.com/100349一提到关系型数据库,我禁不住想:有些东西被忽视了。关系型数据库无处不在,而且种类繁多,从小巧实用的 SQLite 到强大的 Teradata 。但很少有文章讲解数据库是如何工作的。你可以自己谷歌/百度一下『关系型数据库原理』,看看结果多么的稀少【译者注:百度为您找到相关结果约1,850,000个…】 ,而且找到的那些文章都很短。现在如果你转载 2016-05-06 08:55:54 · 6374 阅读 · 3 评论 -
知识图谱技术原理介绍
http://www.36dsj.com/archives/39306作者:王昊奋近两年来,随着Linking Open Data[1] 等项目的全面展开,语义Web数据源的数量激增,大量RDF数据被发布。互联网正从仅包含网页和网页之间超链接的文档万维网(Document Web)转变成包含大量描述各种实体和实体之间丰富关系的数据万维网(Data Web)。在这个背景下,Google、百度和搜狗等转载 2018-02-05 09:49:21 · 3151 阅读 · 1 评论 -
主题模型初学者指南[Python]
https://www.jianshu.com/p/04e3bf995b26引言近年来涌现出越来越多的非结构化数据,我们很难直接利用传统的分析方法从这些数据中获得信息。但是新技术的出现使得我们可以从这些轻易地解析非结构化数据,并提取出重要信息。主题模型是处理非结构化数据的一种常用方法,从名字中就可以看出,该模型的主要功能就是从文本数据中提取潜在的主题信息。主题模型不同于其他的基于规则或字典的搜转载 2018-02-05 16:48:11 · 578 阅读 · 0 评论 -
干货 | 知识图谱的技术与应用
https://mp.weixin.qq.com/s/j94s-jQjJ11zXSDD_uEcAA作者 | 李文哲,人工智能、知识图谱领域专家导读:从一开始的Google搜索,到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统,无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。 本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭建知识图谱过程当中需要经历的步骤...转载 2018-06-16 15:11:33 · 1616 阅读 · 1 评论 -
深度|从数据仓库到数据湖——浅谈数据架构演进
转载自https://mp.weixin.qq.com/s/321mkZsuxqXOme5hw_83mQ网管产品需要从数据仓库的角度来看,才能获得完整的视图。数据集成真正从大数据的角度来看,才能明白其中的挑战。一个运行了20多年的数据架构,必然有其合理性。也正是因为年代久远,存量过多,才导致举步维艰。在Cloud和5G时代,超密度网络集成和大数据洞察需求给电信供应商带来新的挑战,从数据仓库到数...转载 2018-10-20 19:45:31 · 16223 阅读 · 3 评论 -
Lambda架构已死,去ETL化的IOTA才是未来
http://www.sohu.com/a/228020781_115326经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。▌Lambda架构在过去Lambda数据架构成为每一个公司大数据平台必备的架构,它解决了一个公司大数据批量离线处理和实时数据处理的需...转载 2018-11-28 17:30:01 · 1799 阅读 · 0 评论