软件-基础软件-数据管理(数据库+大数据)
Hanson.
ICT产业革命
展开
-
数据库架构设计:Shared Everything,Shared Disk, Shared Nothing
一、Shared Everthting单个主机,透明共享CPU/内存/IO,并行能力差。代表:SQL Server,单机版Oracle,MySQL。不考虑大规模并发。二、Shared Disk (分布式数据库)处理单元使用自己的私有CPU/内存,共享磁盘系统。类似SMP模式。多用于并发比较多的OLTP业务。数据共享,增加节点提高并行处理的能力,扩展能力较好。当存储器接口饱和的时...原创 2019-08-07 00:29:46 · 2278 阅读 · 0 评论 -
分布式数据库的几个概念
分布式CAP原理https://blog.csdn.net/xwx_100/article/details/82259787https://blog.csdn.net/yeyazhishang/article/details/80758354并发与并行原创 2019-07-09 15:00:01 · 173 阅读 · 0 评论 -
NOSQL数据库(图形):neo4j
NOSQL数据库(图形):neo4j原创 2019-08-23 14:59:41 · 250 阅读 · 0 评论 -
NOSQL数据库(列式):Hbase
hbase,OLTP.来自谷歌的bigtable,二维表,行无线,列无线,组合查询效率不高,基于列查询。原创 2019-08-23 15:00:20 · 290 阅读 · 0 评论 -
NOSQL数据库(BSON):MongDB/CouchBase
待定原创 2019-08-23 15:01:19 · 172 阅读 · 0 评论 -
NOSQL数据库(键值对):Redis/Memcached
一、redis简介Redis是一个key-value存储系统。和Memcached类似,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。在部分场合可以对关系数据库起到很好的补充作用。它提供了Java,C/C++(hiredis),C#,PHP,JavaScript,Pe...原创 2019-08-23 15:02:00 · 303 阅读 · 0 评论 -
SQL数据库/数据仓库:SAP HANA
待定原创 2019-08-23 16:00:46 · 264 阅读 · 0 评论 -
数仓Hadoop Pig/Hive与Impala
NOSQL数据仓库Hivehive,大数据之上的执行引擎,把ML框架改成SQL,不用写API,用SQL语句。NameNode描述文件,文件的元数据,还需要描述数据文件内列的类型和名称,需要数据的助记系统,描述列的元数据。需要有一个数据库的表记录数据文件的元数据,需要metadata的server管理元数据。程序员-SQL-CLI命令行Server,举例:创建表,在DB内记录...原创 2019-08-22 16:55:58 · 412 阅读 · 0 评论 -
分布式准实时计算框架Spark
MapReduce只能处理离线,依赖IO,频繁与磁盘交互,与磁盘频繁交互效率比较低。spark基于内存迭代,速度快,但是问题多,给用户暴露一个编程接口。hadoop ML框架+管连接口,spark暴露接口比较多,降低编程复杂度。可以用java或Scala编程。Spark并没有提供分布式文件系统,所以必须与其他的分布式文件系统集成才能运作,不是非要依附在Hadoop身上才能生存,但spar...原创 2019-08-22 16:54:06 · 334 阅读 · 0 评论 -
腾讯数据库产品:TDSQL,Tbase
http://server.it168.com/a2015/1217/1800/000001800983.shtml汤道生认为:去IOE分布式数据库DCDB更名 为 分布式数据库TencentDB for TDSQL我们将在2018年7月21日起将 腾讯云公有云的分布式数据库DCDB更名 为 分布式数据库TencentDB for TDSQL。专有云仍然采用TDSQL命名...原创 2019-08-15 15:43:37 · 3404 阅读 · 0 评论 -
Ali数据库:Oceanbase
2003-2004:taobao 初创 mysql2005-2010:IOE2011-2015:AliSQLAliSQL是基于MySQL官方版本的一个分支https://www.php.cn/mysql-tutorials-418020.html2016-:OceanBase蚂蚁金服团队2017 ~:X-DB阿里巴巴集团数据库团队polarDB阿里云团队...原创 2019-08-07 16:17:01 · 676 阅读 · 0 评论 -
OceanBase与分布式关系型数据库|单机关系型数据库
参考:https://blog.csdn.net/weixin_40581617/article/details/80581613原创 2019-07-01 11:52:14 · 884 阅读 · 0 评论 -
分布式关系数据库探索 - NewSQL 演化过程
https://cloud.tencent.com/developer/article/1355629分布式关系数据库探索 - NewSQL 演化过程原创 2019-08-14 16:47:01 · 154 阅读 · 0 评论 -
CDH安装(CentOS7.6)
https://www.linuxidc.com/Linux/2018-03/151491.htmCentOS 7下Cloudera Manager及CDH 5.14.0安装过程详解1.系统环境搭建1.1 下载CentOShttp://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso、...原创 2019-08-11 12:40:16 · 618 阅读 · 0 评论 -
数据集成工具ETL到KAFKA
一、数据系统传统功能包括:提供联机事务处理OLTP的操作性数据库以及提供在线分析处理OLAP的关系型数据仓库。二、数据集成发展历史ETLNeha Narkhede(Confluent创始人,kafka)观点:ETL 已死,而实时流长存;来自各种操作性数据库的数据会以批处理的方式加载到数据仓库的主模式中,批处理运行的周期可能是每天一次或两次。这种数据集成过程通常称为抽取 - ...原创 2019-08-14 18:42:22 · 1178 阅读 · 0 评论 -
SQL数据仓库:TeraData/ExDATA(Oracle )/GreenPlum
1、Teradata是并行商业数据库 ,GreenPlum出身于科研;2、Teradata采用MPP架构 GreenPlum虽然也采用这个,但是GreenPlum有一个Master Hosts节点如图所示Teradata架构:在大量汇总类查询Master Hosts会是瓶颈,而且Master Host不能挂;3、Teradata使用自己本身的数据引擎和查询工具,GreenPlum使用开...原创 2019-08-23 17:16:26 · 1226 阅读 · 0 评论 -
SQL数据库:Oracle/MySQL
1.没有数据库之前Excle的数据的确很方便,但是对于企业来说就不一样了。一个公司里面可能有成千上万的Excel表格,还在不同的电脑上,而他们的员工和客户需要实时看到企业给他们提供的所有数据,这种文件管理的方法就很麻烦,总不能每分钟都把一个新的巨大无比的Excel文件发给所有客户呀。数据库呢,就是存储数据的地方,就像冰箱是存储食物的地方一样。正是因为有了数据库后,所有人可以直接在这个系统上...原创 2019-08-23 17:42:36 · 206 阅读 · 0 评论 -
数据库产品分类
一、数据库产品OLTP市场规模:关系型数据库仍占营收大头数据库市场份额:云服务和新兴厂商主导NoSQL开源数据库 vs. 商业数据库数据库三大阵营:传统厂商和云服务提供商二、SQL2.1 SQL数据库(交易型)SQL:是所有关系型数据库的公共语言;关系型数据库,是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据,我们平常使用的数据...原创 2019-08-23 21:18:32 · 748 阅读 · 0 评论 -
数据库分类:SQL数据库-NoSQL数据库
一、数据库产品二.SQL数据库SQL:是所有关系型数据库的公共语言;关系型数据库,是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据,我们平常使用的数据库,像MySQL,Oracle,SQL Server等都是传统的关系型数据库。关系模型指的就是二维表格模型,而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。商业数据库O...原创 2019-09-11 17:50:02 · 417 阅读 · 0 评论 -
分布式关系数据库的三种实现方式`
https://www.jianshu.com/p/4fd1cd866cc0原创 2019-09-17 18:34:47 · 697 阅读 · 0 评论