ICT技术发展趋势，AI、大数据和云计算的概述及存储应用技术【2】

• 云DC面临3大挑战：接入流量剧增，数据处理剧增，应用服务剧增。

• 物联网（英语：Internet of Things，缩写IoT）是互联网、传统电信网等信息承载体，让所有能行使独立功能的普通物体实现互联互通的网络。

• SDN：Software Defined Network，即软件定义网络。

• NFV，Network Function Virtualization，即网络功能虚拟化。

• Cloud RAN（也被称为C-RAN和Centralized-RAN）是用于未来移动网络基础结构的一种新型蜂窝网络架构。

• 基础设施融合：通过云操作系统将数据中心内多厂家异构的计算、存储、网络设备资源进行统一整合与自动化调度管理

• 价值驱动力：更低的TCO，更高效的业务部署 ，更敏捷的客户需求响应能力。

• 建设：

• 原有网络对接和演进

• 安全隔离和安全防护

• 构建差异化资源池，满足不同业务需求

• 管理：

• 原有资源池的纳管

• 虚拟化、物理资源的统一管理

• 制定资源池管理规范，资源使用规范化

• 业务迁移：

• 老旧物理机业务和数据平滑迁移

• 老旧虚拟机业务和数据平滑迁移

云计算概述

---

• 云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。

• 云计算的资源是动态易扩展而且虚拟化的，通过互联网提供。终端用户不需要了解“云”中基础设施的细节，不必具有相应的专业知识，也无需直接进行控制，只关注自己真正需要什么样的资源以及如何通过网络来得到相应的服务。

• 云计算的关键特征：

• 按需自助服务（On-demand Self-service）：消费者可以按需部署处理能力，如服务器和网络存储，而不需要与每个服务供应商进行人工交互。

• 无处不在的网络接入（Ubiquitous network access）：通过互联网获取各种能力,并可以通过标准方式访问，以通过各种客户端接入使用（例如移动电话，笔记本电脑，PDA等）。

• 与位置无关的资源池（Location independent resource pooling）：供应商的计算资源被集中，以便通过多用户租用模式给客户提供服务，同时不同的物理和虚拟资源可根据客户需求动态分配。客户一般无法控制或知道资源的确切位置。这些资源包括存储、处理器、内存、网络带宽和虚拟机等。

• 快速弹性（Rapid Elastic）：可以迅速、弹性地提供能力，能快速扩展，也可以快速释放实现快速缩小。对客户来说，可以租用的资源看起来似乎是无限的，并且可在任何时间购买任何数量的资源。

• 按使用付费（Pay per user）：能力的收费是基于计量的一次一付，或基于广告的收费模式，以促进资源的优化利用。比如计量存储，带宽和计算资源的消耗，按月根据用户实际使用收费。在一个组织内的云可以在部门之间计算费用。

• 云计算部署模式：私有云计算、公有云计算、混合云计算

• 私有云计算：一般由一个组织来使用，同时由这个组织来运营。华为数据中心属于这种模式，华为自己是运营者，也是它的使用者，也就是说使用者和运营者是一体，这就是私有云。

• 公有云计算：就如共用的交换机一样，电信运营商去运营这个交换机，但是它的用户可能是普通的大众，这就是公有云。

• 混合云计算：它强调基础设施是由二种或更多的云来组成的，但对外呈现的是一个完整的实体。企业正常运营时，把重要数据保存在自己的私有云里面（比如：财务数据），把不重要的信息放到公有云里，两种云组合形成一个整体，就是混合云。比如说电子商务网站，平时业务量比较稳定，自己购买服务器搭建私有云运营，但到了圣诞节促销的时候，业务量非常大，就从运营商的公有云租用服务器，来分担节日的高负荷；但是可以统一的调度这些资源，这样就构成了一个混合云。

• “On-Demand”商业模式，即按需服务模式。用户所需要的应用软件和数据都位于云中，用户使用客户端按照自己的需求访问所要的应用。云服务提供商同样按照客户的需求提供相应的服务，和收到相应费用。

• 从商业视角来看，云服务可以划分为以下几种类型：

• IaaS：基础架构即服务（Infrastructure as a Service）。IaaS提供ICT基础架构资源并确保其正常运行。

• PaaS：平台即服务（Platform as a Service）。PaaS为软件开发者提供了开发平台。在传统的开发环境中，开发者在编写应用程序的时候，同时需要关注所采用的操作系统和硬件设备。而使用PaaS，开发者可以专注于编写最好的应用程序，基础平台的维护由PaaS供应商负责。

• SaaS：软件即服务（Software as a Service）。这是云计算最早出现的服务模式。用户只需要使用简易的设备去连接SaaS供应商提供的操作系统和应用程序。所有繁杂的系统维护工作，例如软件和授权的升级，均由SaaS供应商来负责。

• 通过对多项核心技术进行归类汇总，可归结为三个方面：整体的计算架构、承载的硬件设备和软件系统。

• 整体的计算架构，需要涵盖高性能、高可靠和可扩展。

• 云计算硬件包括：高可靠和高性能的计算服务器提供计算资源；低成本、数据安全的存储设备提供数据存储空间；支持大二层网络的高密度交换机进行数据的通信和交流。

• 云计算软件包括：用于大数据的并行分析计算技术；整合存储资源提供动态可伸缩资源池的分布式存储技术；用于数据管理的分布式文件管理；计算、存储等资源池化的虚拟化技术；简化运维人员工作，方便高效智能运维的系统管理技术。

• 云计算的关键特征：

• 按需自助服务（On-demand Self-service）

• 无处不在的网络接入（Ubiquitous network access）

• 与位置无关的资源池（Location independent resource pooling）

• 快速弹性（Rapid Elastic）

• 按使用付费（Pay per use）

• “云平台”的基本原理是一个分布式计算系统，通过使计算分布在大量的计算机上，提供On-Demand的超级运算能力和存储能力；终端也是云的一部分。

• “云平台”的核心部分依然是数据中心（心脏），但技术上和传统的数据中心有本质的不同，从强调单机的性能和集群向“分布式、智能化、超大容量”等方向发展。

• “云” 只是一个形象的说法，既是对网状分布计算机的比喻，也指数据的计算过程被隐匿起来。

• 虚拟化的定义：对物理实体资源进行抽象与隔离的管理技术，以达到最大程度利用资源的目的。

• 云计算的部署类型：

• 私有云：企业拥有独立的云基础设施

• 公有云：云服务运营商拥有云服务设施，为公众或企业提供云服务

• 混合云：由私有云和公有云组成，通过专用技术互联，实现数据和应用共享

• 存储融合:

• 开放：支持多厂家虚拟化和物理机数据库部署

• 高性能：支持4096个节点，性能线性提升，支持千万级IOPS，支持高性能数据库和大容量云资源池

• 高可靠：多副本，支持7个9可靠性，机柜级可靠性

• DHT（Distributed Hash Table）：即分布式哈希表，它通常是为了拥有极大节点数量的系统，而且在系统的节点常常会加入或退出节点而设计的。

• OceanStor DJ是华为公司推出的面向云数据中心发展的业务驱动存储控制软件，统一管理数据中心存储资源，提供业务驱动、自动化的存储服务，提升云化环境中存储资源的利用率和存储服务的供给效率。

• OceanStor DJ核心是基于OpenStack相关服务的增强，实现存储资源统一管理，按需分配和数据保护服务。OceanStor DJ将应用与底层存储解耦，打破传统设备和应用厂商的垄断地位。在云化场景下，将存储和数据保护等能力以XaaS的方式提供，顺应存储价值链向软件和服务转移。

• 从控制面和数据面来看，OceanStor DJ的价值如下：

• OceanStor DJ在控制面上将存储的功能特性从物理阵列中抽象出来，把具备相同或近似能力的多个物理存储池在逻辑上组成资源池。用户在请求存储资源的时候，基于资源池的SLA（Service Level Agreement）能力而无需关心后端由哪台阵列为其应用提供存储服务。

• 从数据面上来看，OceanStor DJ具备集成所有类型的数据服务的能力，以及支持应用程序访问块存储、文件存储的能力。同时由于它始终具有并继续使用底层存储阵列独特的功能，OceanStor DJ的存储服务保留了存储阵列的增值特性，例如远程复制等，不会增加用户的购置成本。

NFV，即网络功能虚拟化，Network Function Virtualization。通过使用x86等通用性硬件以及虚拟化技术，来承载很多功能的软件处理。从而降低网络昂贵的设备成本。可以通过软硬件解耦及功能抽象，使网络设备功能不再依赖于专用硬件，资源可以充分灵活共享，实现新业务的快速开发和部署，并基于实际业务需求进行自动部署、弹性伸缩、故障隔离和自愈等。

AI、大数据存储应用技术

===========================================================================

• 大数据趋势：跨越裂谷，走向成熟，进入落地与实施阶段。

• 50%的企业已经投资和使用大数据，33%的企业正在规划如何利用大数据，我们看到大数据领域的持续投资，大数据即将步入成熟发展阶段。

• 云计算和大数据已不再是“新兴”技术，而是成为了“主流”技术了。

• 全球创建和共享的数字信息5年增加9倍，2013年达到3.8ZB。

• CERN： LHC对撞产生1PB/s的数据。

• SKA：2015年存储需要1EB。

• 云化的IDC建设催生了数据的大集中。

• Facebook：每天产生50TB的日志数据，衍生分析数据超过100TB。

• “机器制造”和“人工制造”共同贡献了海量数据，集中式的数据中心建设加速数据

集中

大数据概述

---

• 维基百科：巨量资料(big data)，或称大数据，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯。

• Gartner：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

• 大数据的本质：就是物理世界在数字世界的映像，比如：每年节假日的人流迁移方向，都会在数字世界中记录。

• 现实世界的现象，也可以通过大数据分析发现其背后的逻辑关系。比如：当暴雨来临时，可以看到海鸟低飞。通过分析发现，海鸟低飞是由于很多鱼儿浮游到海水表面，海鸟可以方便的捕食；为什么鱼儿要游到海面呢？原来是暴雨来临时，水里气压增大，鱼儿浮游到海面可以更方便的呼吸。这些，都可以通过大数据分析得出表象背后的联系。

• 大数据并不光光是指新数据，在这个社会当中，最有价值的数据仍然是在企业内部本身几十年来已经累计下来的数据，也就是说在传统的数据管理核心系统当中产生出的，是仍然具有价值的，不一定是最大的数据，也不一定是最新潮的数据，但它一定是具有最大商业价值的数据。

• 从大数据在容量、数据多样性、处理速度和价值挖掘等四个方面所面临的挑战看，大数据技术涵盖了从数据的海量存储、处理到应用的多方面的技术，包括异构数据源融合、海量分布式文件系统、NoSQL数据库、并行计算框架、实时流数据处理以及数据挖掘、商业智能和数据可视化等。

• 一个典型的大数据处理系统可分为五层：数据采集、存储、处理、分析、应用及展现等，其技术参考架构如图所示。

• 大数据的数据类型及模型：

• 非结构化数据，是指不方便用数据库二维逻辑表来表现的数据，包括所有格式的

办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

• 半结构化数据，就是介于完全结构化数据（如关系型数据库、面向对象数据库中

的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，HTML文档

就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明

显的区分。

• 结构化数据，是指可以存储在数据库里，可以用二维表结构来逻辑表达实现的数

据。
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Java）

总结

以上是字节二面的一些问题，面完之后其实挺后悔的，没有提前把各个知识点都复习到位。现在重新好好复习手上的面试大全资料（含JAVA、MySQL、算法、Redis、JVM、架构、中间件、RabbitMQ、设计模式、Spring等），现在起闭关修炼半个月，争取早日上岸！！！

下面给大家分享下我的面试大全资料

• 第一份是我的后端JAVA面试大全

后端JAVA面试大全

• 第二份是MySQL+Redis学习笔记+算法+JVM+JAVA核心知识整理

MySQL+Redis学习笔记算法+JVM+JAVA核心知识整理

• 第三份是Spring全家桶资料

MySQL+Redis学习笔记算法+JVM+JAVA核心知识整理
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
sL-1713856862530)]

后端JAVA面试大全

• 第二份是MySQL+Redis学习笔记+算法+JVM+JAVA核心知识整理

[外链图片转存中…(img-fyPEciK2-1713856862530)]

MySQL+Redis学习笔记算法+JVM+JAVA核心知识整理

• 第三份是Spring全家桶资料

[外链图片转存中…(img-HOXAOrPA-1713856862530)]

MySQL+Redis学习笔记算法+JVM+JAVA核心知识整理
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！