- 博客(139)
- 收藏
- 关注
RSS订阅原创 深度学习常见的三种模型
不同于传统的全连接神经网络结构，卷积神经网络引入了局部感受区域的策略，如处理图像任务时，利用图像数据的空间结构以及邻近像素间的相关性。这使得单个神经元仅对局部信息进行响应，相邻神经元的感受区域存在重叠。循环神经网络是专门用于处理时序数据的神经网络，与典型的前馈型神经网络最大的不同在于网络内存在环形结构。隐藏层内部的神经元互相连接，可以存储网络的内部状态，并且包含序列输入的历史信息，以实现对时序动态行为的描述。此外，在卷积层中，所有神经元共享同一个卷积核，从而显著减少了训练参数的数量，提高了网络的泛化能力。
2024-03-19 15:55:34
1109
原创 机器学习的概念和类型
机器学习（Machine Learning，ML）是人工智能的一个关键领域，其核心理念是让计算机系统通过学习和适应，而不是通过明确的编程来改善性能。总体而言，机器学习是人工智能的一个关键领域，其核心理念是让计算机系统通过学习和适应，而不是通过明确的编程来改善性能。通过这些带有标签的训练数据，机器学习模型学会了从图像的特征中学习猫和狗的区别，形成了一个能够预测新图像标签的模型。监督学习使用带有标签的训练数据进行训练，算法通过学习这些输入和输出之间的关系，从而能够对新的未标记数据进行预测。
2023-11-20 15:22:46
380
原创 数据湖的概念、发展背景和价值
然而，随着互联网的爆发，数据量急剧增长，传统的数据库架构出现了问题，无法支撑大规模数据的存储和处理。数据湖的涌现：数据湖的引入是为了弥补Hadoop和数据仓库各自的不足，提供了低成本、大容量、事务支持等综合性能，为企业提供更灵活、更综合的数据存储和处理方案。综上所述，数据湖的出现为企业提供了更灵活、更综合、更经济的数据管理和分析解决方案，使其能够更好地利用数据资产，做出更明智的决策。解决数据孤岛问题： 数据湖通过统一的数据存储系统，解决了Hadoop和数据仓库搭配使用时可能出现的数据冗余和数据孤岛问题。
2023-11-20 15:20:14
229
原创 【无标题】
算力网络是一个分布式计算系统或网络，它利用多台计算机或服务器的合作来执行计算任务。算力网络的核心思想是将计算资源分散在多个节点上，以提高计算效率和规模。由多个节点组成，这些节点可以是物理服务器、云计算实例，甚至是个人计算机的空闲处理能力。这些节点通过网络连接在一起，形成一个巨大的计算集群。通常需要考虑任务的性质和节点的可用性，以确保任务能够在合适的节点上执行。一旦任务完成，结果将被传回并合并，以生成最终的计算输出。然而，单台计算机的能力往往无法满足日益增长的计算需求。算力网络代表了计算领域的未来。
2023-10-31 16:38:51
157
原创 【无标题】
边缘计算和容器技术存在多个共同点，如分布式应用的支持以及降低延迟等，两者的结合可以为不同的业务场景提供了丰富的机遇，因此，越来越多的企业开始考虑实现边缘计算与容器技术的结合，但成功实施需要仔细考虑多个关键因素。
2023-10-31 16:21:30
162
原创 使用Secure CRT自动记录日志的方法
可是因为配置太多，SecureCRT窗口一直持续输出翻页，等你想往回看之前的内容，把窗口滚动条拖到最顶上时，发现之前的配置都已经看不见了，只有最近的一部分配置还在。例如上面的例子中，我定义了采用月-日-小时-会话名称.log的文件名称形式，具体参数可以参阅图中长方形内的参数表。PS：在选项部分，个人建议最好选择覆盖文件，例如当在短时间之内重复登录会话，由于会话的日志文件名称相同。如果遇到第一种情况，可以一个个手工快速粘贴配置，但是遇到第二种情况，你的手再快也有时间差。一般情况下，此自定义键我们采用空格键。
2023-07-03 11:42:57
722
原创 Flink运行原理
jobmanager会向资源管理器请求执行任务必要的资源，也就是任务管理器上的插槽(slot).一旦它获取了足够的资源，就会将执行图分发到真正运行它们的taskmanager上。⑤jobmanager申请到资源后，启动TaskManager，同样TaskManager向flink的ResourceManager注册slot，因此jobmanager得知有足够的slots可以使用，就会将job任务提交给TaskManager去执行，同时taskmanager会从HDFS加载flink的jar包和环境配置。
2023-07-03 11:23:39
722
原创 什么是混合云技术架构？
云适配技术通过统一各个云服务的资源接口，形成统一的资源池，再通过统一的适配器为用户提供服务。它将公有云和私有云中涉及到的各种资源和产品组合起来，形成一个生态系统，使用户公有云、私有云融合，帮助提高云资源利用率。它将公有云、私有云进行融合，并与企业IT系统进行匹配，形成一个以云为中心的有机生态整体，帮助企业实现IT架构经济性、安全性、扩展性的多赢。对于混合云的技术架构Gartner认为：所有IT环境都是混合的环境，混合IT既包含传统的IT系统也包含云系统（公有云、私有云），具体架构如下图所示。
2023-04-04 11:12:47
437
1
原创 常见的数据脱敏方法介绍
在大数据时代，各种类型的数据被广泛应用于商业、科学和社会管理等领域，但与此同时，也带来了数据泄露和隐私泄露等风险。数据脱敏的方法主要分为基于规则的脱敏方法、加密脱敏方法、伪装脱敏方法、数据扰动脱敏方法、数据屏蔽脱敏方法等多种类型。
2023-04-04 11:08:30
1935
原创 数据清洗是什么？如何进行数据清洗？
数据清洗包括去除重复数据、填补缺失值、处理异常值和转换数据格式等操作，以提高数据的准确性和可靠性。数据清洗通常是数据处理过程的一个必要步骤，它可以消除数据错误和噪声，并提高分析和建模的精度。总之，数据清洗是数据治理不可或缺的一环，它对于数据质量和准确性有着至关重要的影响。在实践中，数据清洗需要根据具体的数据集和业务需求进行调整和优化，以满足不同的数据处理和分析要求。因此，数据清洗需要进行不断的优化和改进，以适应不断变化的数据和业务环境。数据验证：确保数据集中的数据准确性和完整性。
2023-04-04 11:06:52
10203
原创 微服务与 SOA的关系
微服务的特性决定了要对系统重新进行定义，系统要自治，要独立部署，要有隔离性，只能和别人用轻量级的通信方式，可以有自己专属的技术和数据。在系统内部要切成一个个微服务，每个微服务要具备的特性都要定义清楚，会比原来的 SOA 有更好的操作性。微服务将业务划分多个独立的服务并明确不同的责任，既保证了概念的清晰和自洽，又保证了系统的灵活性、伸缩性。面对杂乱不可靠的现实，又从实现上注重每个服务的自治性，也就是能独立部署，具备自动化、可观察、故障隔离、自动恢复等特性，由此提供高可用保障。
2022-12-23 17:08:09
396
原创 Kubernetes控制器的工作原理
Kubernetes 的核心就是控制理论，Kubernetes控制器中实现的控制回路是一种闭环反馈控制系统，该类型的控制系统基于反馈回路将目标系统的当前状态与预定义的期望状态相比较，二者之间的差异作为误差信号产生一个控制输出作为控制器的输入，以减少或消除目标系统当前状态与期望状态的误差，如图1所示。（2）比较二者的差异，而后运行控制器中的必要代码操作现实中的资源对象，将资源对象的真实状态修正为Spec中定义的期望状态，例如创建或删除 Pod 对象，以及发起一个云服务 API 请求等。
2022-12-23 17:07:36
416
原创 网络流量控制技术简介
在实际的运营中，虚拟机实际的控制权属于租户，网络流量控制就是保证各个租户的的利益，保证租户的访问流量保持一个稳定的状态。网络设备控制可以通过在交换机上对每个端口限定带宽上限等方法实现，但是因为当前交换机的命令接口没有统一标准，所以在对云计算环境下的虚拟机流量进行动态控制时会产生不兼容问题，例如难以通过将虚拟机的网络配置从一台交换机转移到另一台交换机的方法解决这一问题。基于物理主机的控制将流量限制工作分散到每台物理机上，并在物理机操作系统中对每台虚拟机的虚拟网卡进行流量限制。
2022-12-22 17:29:03
494
原创 不同存储资源的应用场景及优缺点介绍
容器应用应当根据应用系统的特点，综合考虑容器应用对存储类型、存储性能及数据高可用等方面的要求，选择最适合的存储资源类型。常见的存储资源应用场景包括三类：将存储挂载在外部宿主机上、将存储放置于容器内部和使用外部共享存储。下面对每种应用场景的优缺点、Volume 类型选择、适用场景进行分析和说明。
2022-12-22 17:28:44
805
原创 容器云的双活与灾备技术
容器应用跨数据中心的双活，是将一个应用的不同副本部署到不同的数据中心，如图 1 所示的 Database 应用。在容器云上的应用多活，更多是采用一个应用在多数据中心部署多份的方案，跨中心多活需要从全局负载均衡、集群配置、存储、应用数据缓存、数据库这五个层面进行相应配置工作，如图 2 所示。（1）基于分布式存储同步能力，每个中心的PaaS平台使用本中心内的存储资源，只有当集群和异地存储的时间延迟和网络抖动满足应用的要求时，才会做跨中心的存储访问。（1）如果使用Redis集群，做跨集群的异步复制。
2022-12-21 17:52:11
882
原创 虚拟机实时迁移流程介绍
在云计算数据中心运行过程中，如果对一台物理机进行检修，就需要将运行在这台物理机上的所有虚拟机迁移到另一台物理机上，此时虚拟机的网络环境也需要实时迁移，否则迁移之后的网络功能会出现问题，例如出现虚拟机中运行的网站可能无法被访问等问题。逻辑架构如图 1所示。第6个步骤非常关键，如果出现其中一个环节没有衔接好，则可能会出现：交换机不知道 MAC 地址对应的物理链路已经发生了改变，所以如果虚拟机在迁移之后本身没有向外发送任何包，那么外界访问虚拟机的包都不会转发给物理机 B，而仍然转发给物理机 A。
2022-12-21 17:50:44
803
原创 资源弹性伸缩的两种方式
通常用户在构建新的应用系统时，都会按照负载的最高峰值来进行资源配置，而系统的负载在大部分时间都处于较低的水平，于是导致了资源的浪费。但如果按照平均负载进行资源配置，一旦应用达到高峰负载时，就无法正常提供服务，影响应用系统的可用性以及用户的体验，所以，在平衡资源利用率和保障应用系统的可用性之间总是存在矛盾。云计算的弹性资源提供的特点正好可以解决目前所面临的资源利用率与应用系统可用性之间的矛盾。资源的弹性伸缩能力通常有两种模式。
2022-12-20 17:26:13
342
原创 容器云PaaS平台的容灾策略
当某个数据中心发生故障时，容器云 PaaS 平台会采用流程驱动的方式，实现快速容灾切换，容灾切换流程如图 1 所示。（1）在集群发生故障时，容器云 PaaS 平台可以自动实现容灾切换。容器云 PaaS 平台会自动进行容器应用的健康检查，在生产数据中心的集群内的应用容器运行故障时，系统自动重启或重建容器，以保证运行容器支撑业务的总能力不变。容器云PaaS平台可以根据不同的业务重要程度、对用户影响范围、故障处理时效等因素划分的的容灾等级可以针对不同的容灾等级采用不同的容灾策略。
2022-12-20 17:24:48
579
原创 Kubernetes分布式架构分析
也就是说，一个 Kubernetes 平台编配的容器应用数量是数千到数万个，要想确保这么多容器应用正常运行，且各自运行在对应的容器主机上，并对这些容器应用的生命周期进行合理管理，就需要Kubernetes自身的架构具有一定的可靠性及比较好的容错能力。分布式架构软件的运行需要多个服务器或虚拟机，一个有效的Kubernetes部署称为一个集群，集群中有多个节点，每个节点可以是物理服务器，也可以是虚拟机，每个节点上运行的操作系统是Linux，且每个节点上都运行着数十到数百个容器。
2022-12-19 17:27:13
283
原创 公有镜像仓库的优势和局限性
（6）成本：公有镜像仓库通常会按照拥有的仓库数量、镜像数量、存储空间、网络带宽、网络吞吐量等来计价，若企业拥有几十万、甚至几百万个镜像，则要使用几十TB的空间来存储镜像，公有镜像仓库的价格将非常昂贵。（2）安全性：公有镜像仓库中的镜像是由各个开发者分享的，这些镜像通常以功能为目的，对镜像内的依赖包、应用版本等没有任何限制。因此，公有镜像仓库带来便捷的同时也可能存在一定的风险，大型企业在使用镜像时，应该根据不同的业务需求，采取公有镜像仓库和自建私有镜像仓库相结合的模式，保证业务的稳定性的同时降低成本。
2022-12-16 18:11:08
548
原创 laaS平台架构介绍
而将这些虚拟资源进行有效的整合，从而生成一个可统一管理、灵活分配调度、动态迁移、计费度量的基础服务设施资源池，并向用户提供自动化的基础设施服务，就需要其上面的laaS管理平台。基础设施资源池作为实现融合基础设施结构的关键要素，是共享服务器、存储和网络的集合，能够根据应用程序的要求更快地进行重新配置，从而能够更容易、更快捷地支持业务需求的变化。资源管理平台对基础设施服务池的资源进行统一的管理和调度，实现laaS服务的可管、可控，其核心是对每个基础资源单位的生命周期管理能力和对资源的管理调度能力。
2022-12-16 18:09:44
716
原创 镜像仓库介绍
在构建镜像时，可以指定镜像的镜像仓库、仓库及标签，也可以在构建完成后为镜像添加镜像仓库、仓库及标签，从而将同一个镜像推送到不同的镜像仓库中。镜像仓库在镜像共享中处于中心的位置，在镜像构建、持续集成、镜像部署、镜像发布中均与镜像仓库息息相关，如图1所示。当多个镜像基于同一个基础镜像构建时，这些镜像拥有相同的基础块文件，这些镜像在镜像仓库中共享这部分块文件。元数据是一个镜像的核心信息，包含镜像的镜像仓库、仓库、标签、校验码、文件层、镜像构建描述等信息。镜像仓库主要功能是进行镜像存储、镜像管理和镜像分发。
2022-12-15 18:26:09
427
原创 Kubernetes监控主要体现在两个方面
另外，可以对数据和日志进行分析，进行故障排除、深度诊断和性能调优等。实时监控核心组件（API Server、调度器、控制器、kubelet和kube-proxy等）的健康状态，用以发现用户流量和组件的CPU、内存和网络等的使用情况之间的联系。了解这些数据可以让我们知道租户之间是否相互干扰，还可以让我们知道是否需要对集群进行扩容或缩容，特别是对使用公有云的企业来说，这对控制成本非常有利。因此，通过一个全面的监控系统来解决集群中数据的收集、分析和执行功能，能够极大地提高应用程序和服务的可用性和性能。
2022-12-15 18:24:39
200
原创 通过服务网格减少对API网关依赖
数据平面是运行在服务实例的透明代理构成。这些代理自动处理进出服务的所有流量，服务实例可以根据需要进行启动、停止、销毁、重建或替换。微服务和微服务之间有调用关系，所有调用关系都经过API网关，最终的调用链如图1所示。基于API 网关的数据转发如图1所示，展示了4个微服务之间的3次调用，可以看出任何服务到服务之间的调用都要从调用方通过负载均衡器到API网关再到目标服务。服务网格是一个可配置的、低延迟的网络架构，与API网关的功能有很多共通性，两者都需要处理服务发现、请求路由、认证、鉴权、限流、监控，等等。
2022-12-14 17:38:55
204
原创 三种大数据应用架构介绍
信息技术的发展，如今数据存储能力上升到了 TB、PB 级别，企业和政府部门都以各种形式存储了大量的数据，如何快速有效地处理规模大、结构复杂的数据？本文主要介绍大数据的三类应用架构MapReduce、Hadoop、Spark，进行数据处理。
2022-12-14 10:48:37
1052
原创 PaaS平台管理应用的优势和策略
用户更多地是针对应用的特点，对诸如运行时服务质量（QoS）需求、伸缩策略或者部署方式等应用的参数进行指定和配置，平台层可以根据应用的相关配置自动提供支撑应用的软硬件资源，以及在运行时进行自动的负载平衡、伸缩控制和SLA优化等。PaaS作为云应用的运行环境，云应用通过PaaS所提供的编程接口API按需获取运行所需要的各种（虚拟的）资源和能力。从自动化的角度来看，PaaS的基本目标是使应用更加专注在用户的功能性需求上，而平台则自动为应用满足诸如负载均衡、自动规模调整等非功能性的需求及管理的需要。
2022-12-12 18:29:57
405
原创 API网关的五大主要功能
微服务架构将原本一个庞大的业务系统被拆分成许多粒度很小的系统进行独立部署和维护。这必然会导致跨系统交互复杂度增加、不同服务之间依赖关系变得更加复杂，这给微服务的生命周期管理和版本变更管理带来极大的挑战。基于API网关，可以将微服务之间的直接依赖转化为对API网关的依赖，从而降低耦合关系。如图1所示，API网关是为一组微服务提供统一API访问的组件，基于不同的场景，其承担的职责从单纯请求转发到安全保证、流量控制、可观察性等高级功能。其协议转换功能使得散落部署的异构的微服务系统在API 层面统一起来。
2022-12-12 18:28:56
343
原创 Kubernetes 平台的生态系统介绍
如图1所示，一个完备的Kubernetes系统在设计和实现时，需要考虑多层面的高可用性问题。在集群设计时，应思考和规划如何设定单个集群规模、如何根据地域划分集群、如何规划集群的网络、如何自动化搭建集群等问题，以保证主机通过控制平面向用户提供高可用的云服务。Kubernetes生态系统中涵盖的服务、技术、工具的多样化和易用性，很大程度上支持了Kubernetes容器云平台在政企业务的落地。因此，解决系统性的高可用问题，需从下到上立足各个层面，找出每层的最优解决方案，最终串联组成最优的整体解决方案。
2022-12-09 17:27:49
887
原创 PaaS平台的一致性访问特性
比如，一个企业可能将自己的应用运行在企业内部所建设的PaaS上，将客户信息保存在企业内部的数据库里，将一些非敏感信息如产品手册和图片等文件直接放到公有云服务器上以节省存储服务器的采购成本；为了支持应用的这些功能需求，PaaS应该提供一致的访问接口和编程模型，从而使得应用通过简单的接口调用就能获得相应的功能，而无须单独与各自的服务分别打交道。同时，PaaS平台根据所支持的应用类型，可以精心选择和优化所提供给应用的资源和服务，使得应用的开发和运行变得更为简单高效。
2022-12-09 17:26:51
514
原创 高可用架构设计的六个方法
在架构设计之初，要避免单点故障，路由、防火墙、负载均衡、反向代理及监控系统等在网络和应用层面上必须全部是冗余设计，以此来保证最佳的可用性。下面介绍一些提高系统可用性的常规方法。
2022-12-09 09:28:07
423
原创 PaaS平台如何实现简化应用开发和部署
开发人员只需要进行一次开发就能满足这两个企业的功能性需求，而应用管理人员则只需要在部署的时候根据业务的需求选择配置策略，云平台会自动为它们产生不同的部署和配置。总之，PaaS层在传统的功能性和非功能性分离的基础上，把非功能性的需求实现以服务的方式提交给应用开发者使用，并且通过利用laaS层的功能可以实现应用资源自动按需供给。PaaS 层的一个重要目标就是把业界在过去多年来在分布式应用中获得的经验总结起来作为服务提供给用户，使用户能够将更多的精力放到与业务相关的功能性需求上去。
2022-12-08 18:07:14
604
原创 Docker网络实现的基本原理
Docker网络实现的基本原理Docker的网络实现基本原理是利用了Linux 的网络命令空间和虚拟网络设备，因为Linux 通过在内核中进行数据复制来实现虚拟接口之间的数据转发，即发送接口的发送缓存中的数据包将直接复制到接收接口的接收缓存中，而无须通过外部物理设备进行交换，Docker 中的网络接口默认都是虚拟接口，虚拟接口的最大优势就是转发效率极高。对于本地系统和容器内系统，虚拟接口与一个正常的以太网卡相比并无区别，只是它的速度要快得多。Docker 的网络实现物理拓扑图如图1 所示。 可以发现，不同容
2022-12-07 17:27:44
185
原创 云计算数据中心如何实现快速部署
云计算的环境中资源和应用规模变化大，部署过程所支持的软件系统形式多样，系统结构各不相同，因此对快速部署的要求较高。为了进一步提高云环境中虚拟机的部署速度，则需要考虑并行部署或者协同部署技术。并行部署是同时执行多个部署任务，将虚拟机同时部署到多个物理机上，如图1所示。 并行部署可以成倍地减少部署所需时间，但存储镜像文件所在的部署服务器的读写能力或者部署系统的有限网络带宽却制约实际的并行程度即部署速度。部署多个任务带宽速度会变慢，在这种情况下，协同部署技术可以用来进一步提高部署速度。协同部署技术的核心思想是将虚
2022-12-05 17:54:30
254
原创 PaaS平台架构的两大应用类型
在开发应用时，通常会把这些应用中共有的部分或者需要使用到的功能抽离出来作为基础服务，以供编写和运行从而降低应用创建和运维的复杂性。这一系列应用所要用到的基本功能即为平台层所提供的服务。当前，PaaS上运行的应用主要分为两类∶一类是Web服务类PaaS平台架构如图1所示；另一类是数据分析服务，其PaaS平台架构如图2 所示。前一类应用主要是通过浏览器访问、采用请求/响应模式进行交互的应用，称为事务处理类应用。事务处理类应用的要求主要包括快速响应、高可用性、大并发量等。后一类应用主要是对大量的数据进行分析处理，
2022-12-05 17:46:07
921
原创 DevOps的流程与规范介绍
在DevOps中想要实现快速、高质量的业务交付，流程和规范是至关重要的。流程包含软件从需求提出到产品上线投产全套生命周期的所有环节，如需求提出、代码提交、上线流程等。规范包含敏捷需求分解规范、用户故事编写规范、需求输出表等。
2022-12-02 17:49:15
1580
原创 云平台的安全设计技术和模式
云平台的安全设计不仅要能够满足共性安全需求，还应能够兼顾各用户的动态、特定安全需求。为满足需求，需设计安全资源池方案。安全资源池是将云计算技术应用于安全领域，通过将安全系统、安全功能、资源进行云化，形成专门的安全能力快速交付的资源池；为客户提供按需的网络安全服务，从而实现网络安全即服务的一种技术和业务模式。
2022-12-01 09:49:55
156
原创 云平台的安全设计技术和模式
云平台的安全设计不仅要能够满足共性安全需求，还应能够兼顾各用户的动态、特定安全需求。为满足需求，需设计安全资源池方案。安全资源池是将云计算技术应用于安全领域，通过将安全系统、安全功能、资源进行云化，形成专门的安全能力快速交付的资源池；为客户提供按需的网络安全服务，从而实现网络安全即服务的一种技术和业务模式。
2022-12-01 09:47:40
315
原创 【无标题】
技术工具域定义了用于承载云运维管理体系的技术工具，以实现云运维管理体系框架中提到各类管理要求、管理流程、管理信息的最终落实。云运维管理是采用集中化的方式，统一管理开源云资源池所有云资源的规划、监控、调拨、维护和优化，具有规范性和统一性，可以降低整体的维护成本。信息管控域包含的管理内容为∶支撑云运维管理要求的各项管理数据，包括资源信息、考核指标、管理报告等。流程制度域包含的管理内容为∶云运维管理相关的各类管理流程和保障其落实的管理制度。运维人员设置为一线运维人员、二线运维人员和三线运维人员，职责如下∶。
2022-12-01 09:45:48
929
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人