- 博客(5)
- 收藏
- 关注
RSS订阅原创 浅谈软件定义的必要性有哪些？
节点设备太多、设备利用率太低、 应用设备间迁移太困难、存储需求增长得太快……应用的发展，推动了IT基础架构的发展，特别是承载着云计算与大数据应用的规模化数据中心的发展，需要面临的挑战实在太多了。于是虚拟化技术重新回到大众视野中。图：软件定义的计算演进在计算机发展的早期（20世纪60年代），虚拟化技术其实就已经出现了，当时是为了能够充分利用昂贵的大型主机的计算资源。数十年后，虚拟化技术再一次变成人们重点关注的对象，依然跟提高资源的利用效率有密不可分的关系。而且这次虚拟化技术不仅在计算节点上被广泛应
2021-06-30 14:44:12
285
2
原创 大数据四大阵营之流数据处理阵营
一|大数据的四大阵营是什么？二|浅谈流数据处理阵营数据流管理来自于这样一个概念：数据的价值随着时间的流逝而降低，所以需要在事件发生后尽快进行处理，最好是在事件发生时就进行处理（即实时处理），对事件进行一个接一个处理，而不是缓存起来进行批处理（如Hadoop）。在数据流管理中，需要处理的输入数据并不存储在可随机访问的磁盘或逻辑缓存中，它们以数据流的方式源源不断地到达。数据流通常具有如下特点：· 实时性（Real-time）：数据流中的数据实时到达，需要实时处理。· 无边界（U..
2021-06-25 19:09:07
667
1
原创 大数据四大阵营之MPP阵营
今天我们来看看MPP类型数据库。和MapReduce类似，两者都采用大规模并行处理架构来对海量数据进行以大数据分析为主的工作，不同之处在于MPP通常原生支持并行的关系型查询与应用，不过这一点，Hadoop阵营也在逐渐通过在HDFS之上提供SQL查询接口来支持查询，甚至包括关系型查询。MPP数据库通常具有如下特点:· 无共享架构（Shared-Nothing）：每台服务器有独立的存储、内存及CPU，可以动态增删节点 ·分区（Partitioning）：数据分区可以跨多节点，通过分布式查询优化提高系.
2021-06-16 15:59:17
3385
原创 大数据四大阵营之OLAP阵营
OLAP阵营主要有两大主流方向：一个是基于MapReduce而构建的Hadoop生态圈一个是MPP（大规模并行）数据库阵营不过MPP数据库通常兼具OLAP与OLTP的能力，所以老孙仍旧把MPP数据库与OLAP类型大数据系统并列在OLAP阵营。Hadoop的整体架构其实非常简单，用公式表达就是：Hadoop=HDFS+MapReduce其中，HDFS 负责分布式存储MapReduce 负责分布式计算HDFS分布式文件系统的设计核心理念（设计目标）有三条：（1）可以扩展到数以千计的.
2021-06-08 10:45:51
472
原创 大数据四大阵营之OLTP阵营（下）
[书接上篇]NewSQL数据库下面我们聊一聊颠覆了CAP“理论”的NewSQL类系统（兼具可扩展性、数据可用性与一致性）。确切地说NewSQL可以兼顾OLTP+OLAP，但在一般分类上，我们还是主要突出了它的交易、事务处理对ACID的支持上，因此归为OLTP阵营。最早的NewSQL系统是H-Store15，由美国东海岸的四所大学（Brown、CMU、MIT和Yale）在美国国家科学基金会、加拿大工程与研究委员会及Intel大数据科技中心的资助下联合开发，于2007年面世。H-Store的意义在于它真的
2021-06-02 15:00:55
283
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人