- 博客(27)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 微服务开发框架SpringBoot/传统MVC框架
https://blog.csdn.net/qq_37840993/article/details/82015429浅谈SpringBoot和传统的框架的区别https://xw.qq.com/cmsid/20190809A0H6I100产品必看，Spring Cloud最通俗的解释都在这里了https://blog.csdn.net/jek123456/article/deta...
2019-08-23 23:43:16
100
原创 数据库产品分类
一、数据库产品OLTP市场规模：关系型数据库仍占营收大头数据库市场份额：云服务和新兴厂商主导NoSQL开源数据库 vs. 商业数据库数据库三大阵营：传统厂商和云服务提供商二、SQL2.1 SQL数据库（交易型）SQL：是所有关系型数据库的公共语言；关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据，我们平常使用的数据...
2019-08-23 21:18:32
713
原创 SQL数据库：Oracle/MySQL
1.没有数据库之前Excle的数据的确很方便，但是对于企业来说就不一样了。一个公司里面可能有成千上万的Excel表格，还在不同的电脑上，而他们的员工和客户需要实时看到企业给他们提供的所有数据，这种文件管理的方法就很麻烦，总不能每分钟都把一个新的巨大无比的Excel文件发给所有客户呀。数据库呢，就是存储数据的地方，就像冰箱是存储食物的地方一样。正是因为有了数据库后，所有人可以直接在这个系统上...
2019-08-23 17:42:36
195
原创 SQL数据仓库：TeraData/ExDATA(Oracle )/GreenPlum
1、Teradata是并行商业数据库 ，GreenPlum出身于科研；2、Teradata采用MPP架构 GreenPlum虽然也采用这个，但是GreenPlum有一个Master Hosts节点如图所示Teradata架构：在大量汇总类查询Master Hosts会是瓶颈，而且Master Host不能挂；3、Teradata使用自己本身的数据引擎和查询工具，GreenPlum使用开...
2019-08-23 17:16:26
1202
原创 NOSQL数据库（键值对）：Redis/Memcached
一、redis简介Redis是一个key-value存储系统。和Memcached类似，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。在部分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++(hiredis)，C#，PHP，JavaScript，Pe...
2019-08-23 15:02:00
276
原创 四大分布式存储系统（HDFS,KFS,CEPH,PANASAS)
那么“云”倒底是什么，或者说由哪些技术所构成呢？要回答这个问题，首先我们来看“云”技术的分层架构，一般可以大致分为以下三层： 第一层是基础设施层，如IDC机房，服务器以及网络。其中，“软件定义网络”发生在这一层中，虚拟网络涉及到非常多的技术，如虚拟网卡或者switch，overlay，vxlan等。IaaS（Infrastructure As a Service: 基础设施服务）一般就是...
2019-08-22 23:42:48
3833
原创 四个分布式计算框架MapReduce/Tez/Spark/Storm异同
NOSQL数据仓库之MapReduceSparkStormTez四个框架的异同离线计算框架，MapReduce是一种将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。内存计算框架，Spark:MapReduce计算框架不适合迭代计算和交互式计算，MapReduce是一种磁盘计算框架，而Spark则是一种内存计算框架，它将数据尽可能放到内存中以提...
2019-08-22 23:41:57
777
原创 Hadoop生态地图/Google三大核心技术：GFS（HDFS实现），bigtable(Hbase实现)，MapReduce
1.1 分布式文件系统Hadoop Distributed File System(HDFS)之前有DFS，作为GFS的一个最重要的实现，HDFS设计目标和GFS是高度一致的。2.1 分布式离线计算框架（第一代） 1.0Hadoop MapReduce2.2 分布式离线计算框架（第一代） 2.0Hadoop YARN3.1 分布式NOSQL数据仓库Pig/HiveM...
2019-08-22 17:55:11
2024
原创 NOSQL数据仓库： 分布式离线计算框架Hadoop MapReduce/Yarn
NOSQL数据仓库之离线计算框架MapReduce(Yarn)一、MapReducehttps://www.cnblogs.com/laowangc/p/8961946.htmlhadoop学习笔记（十）：MapReduce工作原理（重点）二、Yarnhadoop1.x中负责资源和作业调度的是MapReduce，hadoop2.x版本后，MapReduce...
2019-08-22 17:24:30
274
原创 数仓Hadoop Pig/Hive与Impala
NOSQL数据仓库Hivehive，大数据之上的执行引擎，把ML框架改成SQL，不用写API，用SQL语句。NameNode描述文件，文件的元数据，还需要描述数据文件内列的类型和名称，需要数据的助记系统，描述列的元数据。需要有一个数据库的表记录数据文件的元数据，需要metadata的server管理元数据。程序员-SQL-CLI命令行Server,举例：创建表，在DB内记录...
2019-08-22 16:55:58
392
原创 分布式准实时计算框架Spark
MapReduce只能处理离线，依赖IO，频繁与磁盘交互，与磁盘频繁交互效率比较低。spark基于内存迭代，速度快，但是问题多，给用户暴露一个编程接口。hadoop ML框架+管连接口，spark暴露接口比较多，降低编程复杂度。可以用java或Scala编程。Spark并没有提供分布式文件系统，所以必须与其他的分布式文件系统集成才能运作，不是非要依附在Hadoop身上才能生存，但spar...
2019-08-22 16:54:06
307
原创 分布式流式计算框架Storm
Storm用于实时处理，就好比Hadoop用于批处理。 -->离线计算：批量获取数据，批量传输数据，周期性比量计算数据，数据展示（Sqoop-->HDFS--> MR ---> HDFS） ---代表技术：-- Sqoop批量导入数据 ...
2019-08-21 00:12:37
448
原创 NOSQL数据仓库：全文检索 Elasticsearch与Solr
一、Elasticsearch数据库数据存储的最小单位是文档，本质上是一个JSON 文本。采用Restful API标准的可扩展和高可用的实时数据分析的全文搜索工具，通过http接口使用JSON格式进行操作数据。高可用：在一个集群的多个节点中进行分布式存储，索引支持shards和复制，即使部分节点down掉，也能自动进行数据恢复和主从切换。二、使用场景2.1 搜索引擎数据量...
2019-08-15 17:06:19
533
原创 腾讯数据库产品：TDSQL，Tbase
http://server.it168.com/a2015/1217/1800/000001800983.shtml汤道生认为：去IOE分布式数据库DCDB更名 为 分布式数据库TencentDB for TDSQL我们将在2018年7月21日起将 腾讯云公有云的分布式数据库DCDB更名 为 分布式数据库TencentDB for TDSQL。专有云仍然采用TDSQL命名...
2019-08-15 15:43:37
3247
原创 数据集成工具ETL到KAFKA
一、数据系统传统功能包括：提供联机事务处理OLTP的操作性数据库以及提供在线分析处理OLAP的关系型数据仓库。二、数据集成发展历史ETLNeha Narkhede（Confluent创始人，kafka）观点：ETL 已死，而实时流长存；来自各种操作性数据库的数据会以批处理的方式加载到数据仓库的主模式中，批处理运行的周期可能是每天一次或两次。这种数据集成过程通常称为抽取 - ...
2019-08-14 18:42:22
1141
原创 分布式关系数据库探索 - NewSQL 演化过程
https://cloud.tencent.com/developer/article/1355629分布式关系数据库探索 - NewSQL 演化过程
2019-08-14 16:47:01
135
原创 CDH安装(CentOS7.6)
https://www.linuxidc.com/Linux/2018-03/151491.htmCentOS 7下Cloudera Manager及CDH 5.14.0安装过程详解1.系统环境搭建1.1 下载CentOShttp://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso、...
2019-08-11 12:40:16
607
原创 数据挖掘 ：机器学习算法框架
http://www.smartbi.com.cn/mining?bd_vid=7474634470977667266 http://baijiahao.baidu.com/s?id=1602990068129749215&wfr=spider&for=pc 机器学习&数据挖掘应用案例数据挖掘（机器学习）.机器学习与大数据紧密联系。但是，必须清...
2019-08-07 18:31:53
288
原创 Ali数据库：Oceanbase
2003-2004:taobao 初创 mysql2005-2010:IOE2011-2015:AliSQLAliSQL是基于MySQL官方版本的一个分支https://www.php.cn/mysql-tutorials-418020.html2016-:OceanBase蚂蚁金服团队2017 ~:X-DB阿里巴巴集团数据库团队polarDB阿里云团队...
2019-08-07 16:17:01
649
原创 数据库架构设计：Shared Everything,Shared Disk, Shared Nothing
一、Shared Everthting单个主机，透明共享CPU/内存/IO，并行能力差。代表：SQL Server，单机版Oracle，MySQL。不考虑大规模并发。二、Shared Disk （分布式数据库）处理单元使用自己的私有CPU/内存，共享磁盘系统。类似SMP模式。多用于并发比较多的OLTP业务。数据共享，增加节点提高并行处理的能力，扩展能力较好。当存储器接口饱和的时...
2019-08-07 00:29:46
2169
原创 openstack+kvm还是k8s+docker ？
https://blog.csdn.net/weixin_38669561/article/details/88944460https://blog.csdn.net/duanbeibei/article/details/85614938 10分钟看懂Docker和K8Shttps://www.cnblogs.com/misswangxing/p/10669444.htmlDock...
2019-08-05 17:07:15
615
原创 OSI七层协议
https://blog.csdn.net/insist530/article/details/77094897 OSI七层通信的简易理解-举例说明两台机器通信过程：需求一:两个硬件如何通信？一台设备给另外一台设备发比特流--->物理层定义物理设备标准，网线/光纤/无线电等各种传输介质的接口类型，传输比特流（将0/1转化为电流强弱来传输，目的地转化为1/0，数模转换与模数转换...
2019-08-04 22:38:51
199
很好的struts教程
2008-12-15
网上书店 (JSP+JavaBean＋ACCESS)
2008-11-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人