云原生技术架构
文章平均质量分 67
易之阴阳
易之阴阳,量子纠缠,道之一体,缘起性空。问学ICT及AI与人的智慧。
展开
-
MongoDB详解和应用
MongoDB 适用于需要高吞吐量、低延迟、高并发访问和灵活数据模型的场景,尤其在处理非结构化或半结构化数据时表现出色。同时,它的分布式特性使其成为云环境和大规模分布式系统的理想选择。MongoDB 是一个开源的、文档型的、分布式数据库系统,旨在处理大量数据并提供高可用性和可扩展性。原创 2024-05-30 08:04:52 · 172 阅读 · 0 评论 -
服务网关(Service Gateway)详解和应用
服务网关(Service Gateway)是微服务架构中的一种组件,它充当了系统对外的统一入口,负责路由、过滤、安全、限流、熔断等跨服务的共性功能。在实际应用中,服务网关作为微服务架构的关键组件,可以极大地提高系统的稳定性和可维护性。原创 2024-05-30 08:04:10 · 1043 阅读 · 0 评论 -
SpringCloud详解和应用
Spring Cloud 是一个基于 Spring Boot 实现的云应用开发工具集,它为开发者提供了在分布式系统(如配置管理、服务发现、断路器、智能路由、微代理、控制总线、一次性令牌、全局锁、领导选举、分布式会话、集群状态等)中快速构建一些常见模式的能力。Spring Cloud 提供了一套完整的微服务解决方案,使得开发者可以快速搭建符合云原生架构的微服务系统。在实际应用中,可以根据业务需求选择合适的组件组合使用。原创 2024-05-30 08:03:54 · 478 阅读 · 0 评论 -
Prometheus详解和应用
Prometheus 是一个开源的监控和警报工具,它被广泛用于收集、存储、聚合和查询时间序列数据。Prometheus 由 SoundCloud 开发,并已成为 Cloud Native Computing Foundation (CNCF) 的毕业项目,是现代云原生环境中的重要组件。Prometheus 的灵活性和强大的查询语言使其成为许多组织监控解决方案的首选,尤其是在云原生和微服务架构中。原创 2024-05-30 07:00:00 · 375 阅读 · 0 评论 -
Hystrix详解与应用
Hystrix是Netflix开源的一个用于处理分布式系统的延迟和容错的库,特别适合微服务架构。它通过实现断路器模式来防止服务雪崩,提升系统的整体稳定性。原创 2024-05-29 07:30:00 · 505 阅读 · 0 评论 -
REST (Representational State Transfer) API详解和应用
REST (Representational State Transfer) API 是一种设计分布式系统和Web服务的架构风格,它遵循一组特定的原则和约束,以确保简洁、一致和可伸缩的交互。REST API 使用HTTP协议来实现客户端和服务器之间的通信,使得任何能够发起HTTP请求的客户端(如浏览器、移动应用、桌面应用)都可以与服务端进行交互。这些API遵循REST原则,使用HTTP方法来表示对资源的操作,并返回JSON格式的数据。:资源的表示通常采用JSON或XML格式,客户端和服务器之间交换数据。原创 2024-05-29 07:00:00 · 1789 阅读 · 0 评论 -
大数据技术相关术语
数据类型繁多,包括结构化数据(如数据库中的表格)、半结构化数据(如XML、JSON)和非结构化数据(如文本、图像、视频)。:一个开源的分布式计算框架,包括HDFS(分布式文件系统)和MapReduce(分布式计算模型),常用于大数据存储和处理。:一个分布式的流处理平台,用于构建实时数据管道和流应用,能够处理大量的实时数据流。:一种集中存储企业所有结构化和非结构化原始数据的存储库,便于数据的分析和处理。:数据的质量和可靠性,确保数据的准确性和一致性是大数据分析的关键挑战。原创 2024-05-01 11:27:29 · 278 阅读 · 0 评论 -
大数据平台和AI的整体架构和开源技术使用
大数据平台为AI提供数据支撑,AI模型则嵌入到大数据处理流程中,实现智能分析和决策。例如,通过Spark或Flink处理原始数据,然后使用MLlib或TensorFlow进行模型训练,最后将训练好的模型部署到如Kafka或Flink的流处理系统中进行实时预测,或者使用TensorFlow Serving对外提供API服务。综上,开源技术在构建大数据平台和AI架构中扮演了至关重要的角色,它们不仅提供了丰富的功能组件,还促进了跨组织、跨行业的技术共享与合作,加速了大数据和AI技术的发展与应用落地。原创 2024-04-29 17:25:27 · 1153 阅读 · 5 评论 -
ETL最佳实践
遵循上述ETL最佳实践,能够帮助组织构建稳健、高效、可扩展的数据集成解决方案,确保数据的准确性和时效性,为数据分析和决策支持提供坚实的基础。同时,持续关注行业趋势和技术发展,适时引入新的工具、方法和最佳实践,不断提升数据集成能力。ETL(Extract-Transform-Load)是数据仓库和数据集成过程中不可或缺的一环,其最佳实践旨在确保数据抽取、转换、加载过程的高效、准确、稳定和可维护。原创 2024-04-25 09:26:42 · 933 阅读 · 0 评论 -
ETL技术详解
ETL(Extract-Transform-Load)技术是数据集成领域中的核心组成部分,主要用于从各种数据源中抽取数据,对其进行必要的转换和清洗,然后加载到目标数据存储系统中,如数据仓库、数据湖或特定的应用数据库。原创 2024-04-25 09:25:12 · 641 阅读 · 0 评论 -
ETL应用与开源技术详解
随着开源技术的发展,众多优秀的开源ETL工具涌现出来,为企业提供了灵活、经济且功能强大的数据集成解决方案。数据仓库为数据分析、报表生成、BI(Business Intelligence)工具提供一致、准确、实时或近实时的数据视图。综上所述,开源ETL技术为企业提供了丰富的选择,可根据具体需求和环境选择合适的工具,实现高效、经济的数据集成与处理。ETL流程中嵌入数据质量检查、数据标准化、数据脱敏等步骤,有助于提升数据质量,满足数据治理要求和相关法规(如GDPR、CCPA)对数据隐私保护的规定。原创 2024-04-25 09:22:56 · 642 阅读 · 0 评论 -
GitHub 私有部署
GitHub 私有部署通常指的是将 GitHub 的功能和特性部署到您自己的服务器或云环境中,以便创建一个完全受您控制的私有 Git 托管服务。除了上述两种方案,还有第三方服务商提供托管的私有 Git 服务,即他们负责服务器的运维和软件更新,您只需使用提供的服务。- 功能全面:与 GitHub.com 相比,GHES 提供了几乎相同的用户体验和功能集,包括代码管理、协作、项目管理、自动化(如 GitHub Actions)、安全性与合规性工具等。原创 2024-04-23 10:15:57 · 858 阅读 · 0 评论 -
GitHub的功能和敏捷开发应用
综上所述,GitHub 不仅提供了基础的 Git 存储库管理功能,还集成了丰富的项目管理、协作、自动化工具,能够有效支持敏捷开发过程,特别是 Scrum 方法的落地实施。- 在 Discussions 中创建专门的话题,进行 Sprint 回顾,记录 Sprint 中的改进点和待办事项,为下个 Sprint 做准备。- 使用 Issues 来记录产品 Backlog 中的用户故事、功能需求、缺陷等项,分配标签、优先级和估算值(如故事点)。原创 2024-04-23 10:06:11 · 450 阅读 · 0 评论 -
Git的应用与部署搭建
对于个人开发者而言,通常无需自行搭建Git服务器,可以直接注册并使用公共的Git托管服务,如GitHub、GitLab、Bitbucket等。然而,对于企业或有特定需求的组织,可能需要搭建私有的Git服务器。- 与CI/CD工具集成:如GitHub Actions、GitLab CI/CD、Jenkins等,自动化代码构建、测试、部署流程。- 文档管理:存放项目相关文档,如README、设计文档、API文档等,并版本化管理。登录GitLab,创建用户账户,设置权限,创建项目,开始进行代码管理和协作。原创 2024-04-23 07:00:00 · 901 阅读 · 0 评论 -
knative项目介绍
使用 Knative,开发者可以轻松地创建、部署和管理 serverless 应用,享受到自动伸缩、按需计费、快速响应事件等 serverless 架构带来的好处。目前,Knative 社区活跃,项目持续演进,不断吸收社区反馈并引入新的功能和优化。- 可移植性:由于基于 Kubernetes,Knative 应用可以在任何支持 Kubernetes 的云服务商或本地环境中运行,实现跨云、跨环境的一致体验。- 事件路由与过滤:定义复杂的事件路由规则,对事件进行过滤、转换和聚合,再分发到相应的服务或函数。原创 2024-04-22 11:23:57 · 161 阅读 · 0 评论 -
knative技术应用
事件流处理:构建基于 Knative Eventing 的实时数据管道,将来自多个源头(如日志、传感器数据、交易记录等)的事件汇聚、转换、过滤后发送至流处理引擎(如 Apache Flink、Kafka Streams)进行实时分析。- 服务解耦:借助 Knative Eventing 构建基于事件通信的微服务架构,各服务间通过发布和订阅事件进行交互,降低服务间的直接依赖,提高系统的弹性和可扩展性。原创 2024-04-22 11:22:55 · 265 阅读 · 0 评论 -
云原生最新技术
WebAssembly 作为一种轻量级、跨平台的二进制格式,开始被探索用于扩展云原生环境的功能,如在 Sidecar 容器中运行 WASM 模块以实现安全、高效的网络代理功能,或者在 Kubernetes 控制器中使用 WASM 扩展其处理逻辑。- 随着云原生应用的复杂性和规模增加,分布式SQL数据库(如 CockroachDB、YugabyteDB、TiDB 等)越来越受欢迎,它们提供与传统SQL兼容的接口,同时具备水平扩展能力和强一致性的保证。云原生技术领域不断发展,不断有新的创新和进展出现。原创 2024-04-22 11:21:59 · 500 阅读 · 0 评论 -
Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException 错误
错误,主要需从网络连接、Redis服务器性能、命令执行效率、阻塞性命令以及客户端配置等多个角度进行排查。通过监控、日志分析和代码审查,定位并优化问题根源,同时合理调整客户端超时设置以适应实际场景。错误时,这表明客户端(通常是使用Lettuce作为Redis客户端库的应用程序)在执行Redis命令时超出了预设的响应时间限制。原创 2024-04-22 11:19:53 · 6255 阅读 · 1 评论 -
spring.redis.max-active 的数目
同时,根据服务等级协议(SLA)的要求,确保在高并发场景下仍能提供满意的性能。:考虑在高峰期或预期的最大负载下,有多少并发线程或请求需要访问Redis。:进行压力测试,观察在不同负载下的连接池利用率、响应时间、Redis服务器资源使用情况等指标。值不应超过Redis服务器能够有效处理的连接数上限,否则可能会导致Redis服务器过载、性能下降甚至拒绝连接。:根据并发量估算,设置一个适度的值,如并发请求量的2-3倍。:在保证Redis服务器承受范围内的同时,也要考虑客户端(如应用服务器)的资源。原创 2024-04-22 11:17:16 · 1077 阅读 · 0 评论 -
Redis服务器的maxclients限制
是Redis服务器的重要配置参数,用于控制并发连接的数量,应根据实际业务需求、服务器资源状况以及性能指标进行合理设置,并配合有效的监控与告警机制,确保Redis服务器在高并发场景下稳定运行。限制是指Redis服务器允许同时建立的最大客户端连接数。这是一个重要的配置参数,用于保护Redis服务器免受过量连接请求导致的资源耗尽。原创 2024-04-22 11:16:08 · 1125 阅读 · 0 评论 -
Cloud Native Computing Foundation (CNCF)介绍
CNCF的核心目标是通过汇聚行业领导者、开发者以及终端用户的力量,共同构建并推广一个活跃的开源软件生态系统,以适应现代、动态环境(如公有云、私有云和混合云)中构建和运行可扩展应用程序的需求。6. 全景图与认证平台:CNCF维护了一幅详尽的云原生全景图(Cloud Native Landscape),将与云原生计算相关的各种工具、项目和服务分类呈现。1. 使命与关注点:CNCF的使命是驱动云原生计算的发展与普及,其定义为“使组织能够在现代、动态环境中(如公有云、私有云和混合云)构建和运行可扩展应用”。原创 2024-04-22 07:54:53 · 682 阅读 · 0 评论 -
Serverless架构模型和应用场景
Google Cloud Functions:Google Cloud Platform 的无服务器计算服务,通过事件驱动的方式执行代码片段,与 GCP 的其他服务如 Firebase、Cloud Storage、Pub/Sub 等协同工作。总结来说,Serverless 架构通过抽象掉服务器管理的复杂性,使开发者能够专注于业务逻辑开发,同时利用云平台的弹性伸缩能力和按使用量计费模式,实现高效、低成本的应用部署和运维。- 聊天机器人:响应消息平台的事件,处理用户的交互请求。原创 2024-04-21 12:21:29 · 342 阅读 · 0 评论 -
Istio和Service Mesh
控制平面:包括 Pilot(负责配置分发和流量管理)、Citadel(负责身份认证和密钥管理)、Galley(负责配置验证和分发)、Mixer(已弃用,其功能被整合到 Envoy 中)等组件,负责管理和配置数据平面的行为,以及收集和聚合服务间的遥测数据。总结来说,Istio 是一个功能丰富、成熟且广泛采用的 Service Mesh 实现,它通过提供一致的流量管理、安全性和可观测性能力,极大地简化了微服务架构中的网络治理工作,促进了云原生应用的高效、安全和可观察性。原创 2024-04-21 12:20:35 · 307 阅读 · 0 评论 -
ELK 的应用技术
综上,ELK Stack通过Elasticsearch的高效搜索与分析、Logstash的数据处理管道、Kibana的数据可视化以及Filebeat的日志收集,共同构成了一个强大的日志数据管理和分析平台,广泛应用于日志集中管理、监控告警、业务分析、安全审计等领域。ELK Stack(Elasticsearch、Logstash、Kibana)是一套开源的、用于日志数据管理和分析的工具链。原创 2024-04-20 06:59:09 · 721 阅读 · 0 评论 -
DDoS安全防护
DDoS(Distributed Denial of Service)安全防护是指一系列技术和策略的综合应用,旨在保护网络资源(如服务器、网络设备、应用程序等)免受分布式拒绝服务攻击的侵害。DDoS攻击通过大量受控设备(僵尸网络)向目标系统发送海量请求,造成网络拥塞、服务器过载或资源耗尽,从而导致正常用户无法访问或使用服务。综上所述,有效的DDoS安全防护需要多层次、全方位的策略部署和持续监控,结合预防、检测、响应和恢复等环节,构建一个能够适应各种攻击手法和规模的安全防护体系。原创 2024-04-15 17:54:54 · 389 阅读 · 0 评论 -
DDoS攻击技术和方法及防护
DDoS(Distributed Denial of Service)攻击是指攻击者利用大量受控设备(如僵尸网络)同时向目标系统发送海量请求,意图耗尽其网络带宽、系统资源或应用程序处理能力,导致合法用户无法访问或使用服务。启用防火墙的IP碎片重组功能,过滤异常分片;通过综合运用上述防护措施,可以构建一个多层次、立体化的DDoS防御体系,有效应对各类攻击,最大限度地保障服务的连续性和可用性。防护措施:部署流量清洗设备或服务,识别并丢弃异常流量;防护措施:实施深度包检测(DPI)和行为分析,识别低速率攻击;原创 2024-04-15 17:52:46 · 401 阅读 · 0 评论 -
互联网技术架构与应用技术
此外,互联网架构还涉及到许多其他技术和协议,如DNS(域名系统)、HTTP(超文本传输协议)、SSL/TLS(安全套接字层/传输层安全)等,这些都是确保互联网正常运行的关键组成部分。2.电子邮件(Email):使用SMTP(简单邮件传输协议)、POP3(邮局协议版本3)或IMAP(互联网消息访问协议)等协议,用户可以在互联网上发送和接收电子邮件。3.文件传输(File Transfer):FTP(文件传输协议)和FTPS(安全文件传输协议)允许用户在互联网上上传和下载文件。原创 2024-04-12 18:56:27 · 517 阅读 · 0 评论 -
ICT技术特点与应用
ICT(信息通信技术)是一个广泛的技术领域,它涉及信息的收集、存储、传输、处理和呈现。原创 2024-04-12 18:47:07 · 1187 阅读 · 0 评论 -
云计算开源技术框架
云计算开源技术框架是指那些用于构建和管理云计算环境的开源软件工具和平台。它们允许用户构建和管理自己的云环境,无论是私有云、公有云还是混合云。1.OpenStack: 这是一个非常流行的开源云计算管理平台项目,它由多个主要的贡献者领导,包括AT&T、惠普、IBM等。OpenStack支持几乎所有类型的云环境,包括公有云、私有云和混合云。4.OpenNebula: 这是一个灵活的云计算平台,用于数据中心云化的管理和部署。它允许用户构建与AWS兼容的私有云和混合云环境。原创 2024-04-12 18:40:40 · 626 阅读 · 0 评论 -
5G软件定义网络(SDN)
SDN在5G网络中的应用旨在提升网络的敏捷性、自动化水平和创新能力,以适应5G时代多样化的服务需求、海量数据流量以及快速变化的业务场景。总之,5G软件定义网络(SDN)通过将控制平面与数据平面分离、提供开放接口、支持网络虚拟化与自动化,极大地提升了5G网络的灵活性、可编程性和智能化水平,是实现5G网络高效运营、多样化服务提供以及支持垂直行业数字化转型的重要基石。一、5G SDN的特点。二、5G SDN的作用。三、5G SDN的应用。原创 2024-04-15 07:30:00 · 699 阅读 · 0 评论 -
5G网络功能虚拟化(Network Function Virtualization, NFV)
5G网络功能虚拟化(Network Function Virtualization, NFV)是第五代移动通信技术(5G)体系结构中的重要组成部分,旨在通过虚拟化技术将传统的、依赖专用硬件的网络功能转变为运行在标准商用服务器上的软件实例。总结而言,5G NFV技术通过将网络功能从专用硬件中解放出来,实现网络功能的软件化、云化部署,为5G网络带来了前所未有的灵活性、敏捷性和经济性,是5G网络架构现代化、服务创新和业务拓展的关键驱动力。三、5G NFV的应用场景。二、5G NFV的优势。原创 2024-04-15 07:00:00 · 1270 阅读 · 0 评论 -
tomcat的性能优化
选择适合应用场景的垃圾收集器,比如 CMS、G1 或者 ZGC 等,尤其对于大内存环境和低延迟要求高的场景,应考虑使用并发或者低停顿时间的 GC 算法。:借助 Nginx 等反向代理服务器缓存静态资源(如 CSS、JS、图片等),减轻 Tomcat 的负载压力。:合理设置线程池大小,避免因线程创建销毁带来的开销,并保持一定的空闲线程防止响应延迟。参数设置每个线程栈的大小,过大可能导致内存消耗过多,过小可能因栈溢出而导致问题。:减少不必要的同步操作,避免内存泄漏,优化 SQL 查询等。原创 2024-04-01 13:22:18 · 318 阅读 · 0 评论 -
k8s中的应用实例组件
用于定义应用的副本集及其更新策略。Deployment确保Pod的数量始终符合期望的状态,并能在升级、回滚时保证应用的可用性。每个YAML文件都是独立定义Kubernetes对象的,可以单独创建。(可选):请求持久化的存储卷。PVC声明所需的存储资源,PV是集群提供的存储资源。:用于定义访问Pod的方式,它可以提供负载均衡和服务发现的功能。(适用于有状态应用):定义具有稳定唯一标识符和有序网络标识的应用程序实例。(可选):用于存储应用程序的非敏感配置数据。(可选):用于存储敏感信息,如密码、密钥等。原创 2024-04-01 11:42:46 · 806 阅读 · 0 评论 -
k8s的应用,完整示例
Kubernetes(k8s)是一种开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序。下面是一个简单的k8s应用示例,涵盖了从准备工作到部署应用程序的完整过程。原创 2024-04-01 11:32:03 · 382 阅读 · 0 评论 -
阿里开源项目介绍和访问地址
Ant Design 是一套企业级 UI 设计语言和 React 组件库,用于帮助开发者构建高质量的应用程序界面。原创 2024-03-30 17:46:03 · 469 阅读 · 0 评论 -
华为开源项目介绍和项目访问地址
OpenHarmony是由开放原子开源基金会孵化及运营的开源项目,旨在面向全场景、全连接、全智能时代,搭建一个智能终端设备操作系统的框架和平台。它促进万物互联产业的繁荣发展,并构建一个健康的生态系统。原创 2024-03-30 17:41:44 · 612 阅读 · 0 评论 -
大型网站的安全架构设计
设计大型网站的安全架构时,需要考虑多个层面和维度的安全措施,确保整个系统的安全性和可靠性。原创 2024-03-30 08:38:59 · 932 阅读 · 0 评论 -
DevOps 技术选型
除了以上提到的技术,还有其他许多工具和平台可供选择,如持续监控工具 Prometheus、日志收集工具 ELK Stack(Elasticsearch、Logstash、Kibana)等。最终,DevOps 的技术选型是一个综合考虑的过程,需要根据项目的具体需求和团队的偏好来做出决策。:选择能够提供高度可扩展性和灵活性的技术,以适应项目未来的增长和变化。:考虑团队成员的技术背景和偏好,选择团队成员熟悉和擅长的技术。:根据项目的大小、类型、复杂度等因素选择适合的技术和工具。原创 2024-03-29 16:55:53 · 560 阅读 · 0 评论 -
云原生架构中多种缓存机制的技术选型
开发web或云原生架构中,在为不同应用场景和技术栈选择缓存机制时,需要综合考虑性能、数据持久性、数据一致性、易用性、扩展性等多个因素。Redis如果有闭源的风险,如何又规避呢,下面是多种缓存机制的技术选型。原创 2024-03-29 16:54:53 · 323 阅读 · 0 评论 -
大型网站的缓存机制设计
总之设计缓存策略时需要综合考量缓存的一致性、命中率、容量限制、失效策略等因素,结合具体业务特点,制定出合适的缓存体系架构。原创 2024-03-29 10:21:18 · 639 阅读 · 0 评论