- 博客(76)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 【算法】分布式共识Paxos
Paxos算法是由莱斯利·兰伯特（Leslie Lamport）在1990年提出的一种解决分布式系统中一致性问题的算法。
2024-07-25 15:26:26
303
原创 【算法】一致性哈希
一致性哈希算法（Consistent Hashing）是一种分布式算法，因其出色的分布式数据存储特性，被广泛应用于缓存、负载均衡、数据库分片等场景。一致性哈希算法的核心思想是将数据映射到一个固定范围的哈希环上，服务器节点也映射到这个哈希环上。每个物理节点对应多个虚拟节点，数据映射到虚拟节点上，从而实现数据的均匀分布。哈希环用于存储虚拟节点，节点映射表用于存储虚拟节点与物理节点的对应关系。一致性哈希算法使用一个长度为2^32的环形哈希空间，通常使用MD5或SHA-1等哈希函数将数据映射到这个空间。
2024-07-22 15:45:10
934
原创 大模型技术：开启人工智能新时代
未来，研究者们需在提高模型性能的同时，关注其可解释性和可靠性，以促进人工智能技术的健康发展。未来，研究者们将致力于开发更高效的算法和硬件，降低大模型技术的应用门槛。大模型技术在预训练阶段积累了丰富的通用知识，这使得模型具有很强的迁移学习能力。同时，模型可能存在偏见和不公平性，如何确保AI模型的公平性和透明度是一个重要的研究方向。大模型技术在单一模态（如文本、图像）上取得了显著成果，未来将向跨模态学习方向发展，实现多模态数据的深度融合。大模型的训练需要巨大的计算资源和时间，往往伴随高昂的成本。
2024-07-15 00:57:34
851
原创 浅析Nginx技术：开源高性能Web服务器与反向代理
Nginx是一款轻量级、高性能的HTTP和反向代理服务器，也可以用作邮件代理服务器。它最初由俄罗斯的程序员Igor Sysoev在2004年开发，并于2004年首次公开发布。Nginx的主要优势在于其非阻塞的事件驱动架构，能够处理大量并发连接，适用于高流量的网站和服务。
2024-07-08 23:51:00
1205
原创 数据产品经理知识库构建
数据产品是指利用数据分析、数据挖掘等技术，将数据转化为具有实际应用价值的产品或服务。这些产品可以是内部工具，也可以是面向客户的解决方案。
2024-06-30 22:20:49
875
原创 浅析缓存技术
缓存技术通过在高速存储介质中暂存数据副本，显著提升数据访问速度和系统响应性能。在人工智能领域，AI缓存技术特别突出。它利用先进的算法和模型预测用户需求，将数据预加载到内存中，以减少推断时间并提升AI模型的实时性能。另外，Alluxio作为一种开源的分布式存储系统，能够通过将数据在内存中进行存储和管理，为大数据处理提供高速访问能力，从而加速数据访问和分析过程。这些缓存技术不仅在数据管理和应用性能优化中发挥关键作用，也在提升系统效率和用户体验方面具有重要意义。
2024-06-23 23:11:33
1199
1
原创 智慧分流：探索互联网与物联网的负载均衡技术
负载均衡是一种将工作负载分布到多个计算资源上的技术，旨在确保每个资源都能够有效地处理请求。这些计算资源可以是服务器、存储设备、网络设备或其他类型的资源。通过负载均衡，系统管理员可以避免单一节点负载过重，从而提高整体系统的性能和稳定性。
2024-06-17 00:20:41
936
原创 RPC（远程过程调用）：技术原理、应用场景与发展趋势
RPC是一种远程过程调用协议，它允许一个程序调用另一个程序在不同的地址空间上执行的子程序。在分布式系统中，RPC通过封装远程调用的细节，提供了一种透明化的方法，使得开发人员可以像调用本地函数一样调用远程函数，从而简化了分布式系统的开发和维护工作。RPC基本概念是建立在Client-Server架构上的通信模式。Client通过调用本地的Stub（本地代理）代理对象，Stub负责将调用参数封装并通过网络发送至Server端，Server端接收到消息后执行相应的逻辑，再将结果返回至Client端。
2024-06-12 23:34:47
2840
9
原创 技术革命的十年：计算机、互联网、大数据、云计算与AI
近10年来，计算机、互联网、大数据、云计算和人工智能等技术领域发展迅速，带来了巨大的变革和创新。
2024-06-08 21:17:19
1739
原创 融合神话传说：构建公共开放平台的技术探索
当今科技发展日新月异的时代，我们越来越意识到跨文化的融合和开放共享的重要性。在这篇博客中，我们将探讨如何利用国外与国内古代神兽和神话故事的灵感，来设计一个创新的公共开放平台。
2024-05-31 00:10:08
785
1
原创 技术架构设计指南：从需求到实现
C/S架构指的是Client/Server架构，其中客户端应用程序（Client）与服务器端应用程序（Server）直接交互。QQ作为一个即时通讯软件，采用了C/S架构。客户端负责用户界面和交互逻辑，而服务器端负责消息传递、用户验证等功能。B/S架构指的是Browser/Server架构，用户通过浏览器（Browser）访问服务器端（Server）提供的应用程序。OA系统（办公自动化系统）采用B/S架构，用户通过浏览器访问OA系统的各项功能。
2024-05-29 22:17:12
1217
1
原创 云原生技术解析
云原生（Cloud Native）是一种针对构建和运行基于云的应用程序的方法论和技术体系。它旨在充分利用云计算的弹性、可伸缩性和灵活性，使应用程序能够更好地适应动态变化的云环境。
2024-05-12 23:59:31
992
原创 一种算法分类方式及其应用
在计算机科学领域，算法是解决问题的有效方法，而对算法进行分类有助于理解它们的特性、优劣以及在不同场景下的应用。常见的算法分类方法，包括按设计思想、问题类型、数据结构和应用领域等，每一类算法会对应有其典型和实际应用。算法的出现是为了解决问题和简化复杂的任务。它们提供了一种系统的方法来执行特定的计算或操作，可以应用于各种领域，包括计算机科学、数学、工程、经济学等。
2024-05-04 23:57:39
1116
1
原创 浅析边缘计算技术
边缘计算是一种分布式计算范式，它将计算任务和数据存储从中心化的云端推向网络的边缘，即设备或终端，以提高响应速度和降低网络带宽需求。此外，将敏感数据在本地处理可以减少数据泄露的风险，提高系统的可靠性，因为即使网络连接中断，本地设备仍然可以继续运行。边缘计算的应用场景非常广泛，包括物联网（IoT）、智能家居、自动驾驶、工业、远程医疗、增强现实（AR）和虚拟现实（VR）等。在这些场景中，边缘计算能够显著减少数据传输延迟，提高系统的实时性和响应速度，同时减轻数据中心的负担。：智能货架、用户行为分析、定制化推荐等。
2024-04-29 01:12:05
795
1
原创 车联网大数据与人工智能一体化：开启智慧出行新时代
车联网通过将车辆与互联网相连，实现了车辆信息的采集、传输和处理，为用户提供了更加智能、便捷的出行服务。而大数据和人工智能作为车联网的核心技术，为车辆数据的分析和利用提供了重要支撑，可以帮助实现智能驾驶、智慧交通等多种应用场景。
2024-04-14 00:52:41
1443
2
原创 技术与产品：工业革命与时代进步的缩影
在当今数字化时代，技术与产品的关系已成为推动社会发展的关键因素之一。然而，要理解技术与产品的演进，我们需要回顾工业革命对人类社会的深远影响。本文将从技术和产品的概念入手，探讨工业革命各阶段的代表性技术和产品，以及它们对社会发展的重要意义。技术指的是人类利用科学知识和技能创造、改造物质和能量以满足自身需求的能力和方式。技术可以是具体的工具、方法、流程或系统，用于解决问题或实现特定的目标。产品则是技术的具体应用，是经过加工、制造而成的可供消费和使用的物品或服务。
2024-04-06 21:10:07
528
1
原创 Kubernetes（K8s）技术解析
Kubernetes（简称K8s）是一个开源的容器编排平台，旨在简化容器化应用程序的部署、扩展和管理。为开发者和运维人员提供了丰富的功能和灵活的解决方案，帮助他们更轻松地构建、部署和管理云原生应用程序。Kubernetes最初由Google开发，并于2014年首次发布为开源项目。目前，它由云原生计算基金会（Cloud Native Computing Foundation，CNCF）维护，并得到了来自全球范围内许多公司和开发者的贡献和支持。
2024-04-01 00:44:55
1131
1
原创 主流后端开发语言：JAVA、C、C++、GO、PYTHON对比
软件开发领域，语言本身在各自领域都有适用场景，有许多流行的编程语言可供选择，每种语言都有其独特的特点和适用场景。
2024-03-28 23:52:43
4180
3
原创 系统架构设计-构建系统应用
系统架构指的是对一个系统整体结构的设计和组织方式，包括系统中各个组件之间的关系、功能划分、数据流动以及相互作用等方面的规划。系统架构旨在确保系统能够满足业务需求并具备所需的性能、可靠性、可维护性和安全性。
2024-03-23 23:36:22
1926
1
原创 数据治理系统论-结合数据要素等
数据治理是指组织内外部对数据进行管理和监控的全面框架。它涵盖了数据的安全、合规性、可用性和价值最大化等方面。通过有效的数据治理，组织能够更好地理解其数据资产，并确保数据被正确地管理和利用。治理技术：包括数据质量管理、元数据管理、主数据管理、数据安全等技术。治理工具系统。
2024-03-17 18:58:02
1491
1
原创 Flink技术简介与入门实践
Flink 是一个分布式流处理和批处理计算框架，具有高性能、容错性和灵活性。JobManager：JobManager 是 Flink 集群的主节点，负责接收和处理用户提交的作业。解析和验证用户提交的作业。生成执行计划，并将作业图分发给 TaskManager。协调任务的调度和执行。管理作业的状态和元数据信息。：TaskManager 是 Flink 集群的工作节点，负责执行具体的任务。
2024-03-11 00:19:42
974
原创 人工智能AI网站推荐
AI爱好者在论文整理和分享方面有着非常出色的内容和质量，其中不仅有很多经典的AI论文，还有大量来自大牛教授的学术讲座和专业领域的实践案例。如果想开展AI领域的深度研究和学习，这个平台值得一试。AI中国（https://www.aicn.me/）致力于收集与AI相关的热门工具，包括但不限于ChatGPT、AI视频、AI办公、AI语音等领域，并为广大AI爱好者提供学习平台，降低获取学习资源的成本。该机构致力于推动科技信息的传播和共享，他们的网站提供了丰富的学术论文资源，包括人工智能领域的研究成果。
2024-03-05 22:53:52
1400
原创 大数据智能化-长视频领域
随着数字化与AI时代的到来，长视频领域的发展迎来了新的机遇和挑战。在这一背景下，大数据智能化技术的应用成为长视频行业提升用户体验、优化运营管理的重要手段之一。本文将从优爱腾3大长视频背景需求出发，分析静态资源CDN、视频文件存储与分发、UGC/PGC/AIGC内容管理与应用、用户APP埋点数据分析等方面的大数据智能化应用流程，并以爱奇艺的天工大数据运维平台为例，探讨大数据技术在长视频领域的具体应用。
2024-03-02 10:47:55
1271
原创 海豚调度DolphinScheduler入门学习
DolphinScheduler 是一款分布式的、易扩展的、高可用的数据处理平台，主要包含调度中心、元数据管理、任务编排、任务调度、任务执行和告警等模块。其技术架构基于 Spring Boot 和 Spring Cloud 技术栈，采用了分布式锁、分布式任务队列等技术确保任务高可用性。部署灵活，支持单机部署、分布式部署、容器化部署等方式。应用场景广泛，可用于大数据处理、定时任务和流程管理等领域。具有易扩展性、高可用性、多语言支持、易用性和活跃的开发社区等技术优势。
2024-02-25 22:43:44
2236
1
原创 基于CU,PO,RD,IPO矩阵图分析数据资产-自创
通过计算出的数据资产的可靠度，使用权重指标，可以对数据是否有下游使用，使用的重要程度，对数据是否可以归档或则销毁作为参考，以及对数据的价值，质量具有一定参考意义。像金融，社交媒体，视频网站，电商零售，传统房地产，车联网企业，制造业，工业互联网等每天都产生大量的数据，这些数据就像水一样，处理的好会成为一种力量能源，帮助公司的业务能够朝着正确的方向，更好更快的前进；数据资产管理，涉及对数据的复用，生产，数据资产成本分析，数据资产评级等，形成系统化的功能后，可以总结，并开发出数据资产管理相关的系统或产品。
2024-02-14 17:26:06
1678
原创 浅析大数据汇总
传统，大数据主要关注数据的采集、存储和处理能力。随着互联网的快速发展，用户在互联网上产生了大量的数据，这些数据包括用户行为数据、社交媒体数据、传感器数据等。传统的数据库技术已经无法满足对这些海量数据的存储和处理需求，因此出现了分布式存储和计算技术，如Hadoop、HBase等。这些技术使得大数据的存储和处理变得更加可行，同时也带来了对数据分析和挖掘能力的需求。现阶段，大数据不再局限于数据的规模，更多地关注数据的质量、价值和应用。随着人工智能技术的快速发展，大数据与人工智能的结合成为了一个重要的趋势。
2024-01-28 22:49:31
1064
原创 浅谈大数据智能化技术在多个领域的应用实践
大数据智能化技术在当今信息社会中得到了广泛的应用。从金融、互联网电商、视频行业到垂直短视频领域，从工业互联网到云计算、边缘计算等领域，大数据智能化技术已经成为了企业竞争力的重要组成部分。技术实践、架构设计、指标体系、数据质量、数据分析、数据挖掘、数据采集、数据智能化应用、BI、AI等方面，大数据智能化技术在不同领域的应用场景和代码编写。
2024-01-21 20:51:56
1242
原创 CDN内容分发网络
CDN是内容分发网络（Content Delivery Network）的缩写。它是一种通过将内容部署到全球各地的服务器节点，使用户能够快速访问和下载内容的网络架构。简单来说，CDN通过将内容分发到离用户更近的服务器节点上，以减少传输延迟和带宽拥塞，从而提供更快速和可靠的内容传输。
2024-01-14 23:43:00
1324
原创 【算法】傅里叶变换
傅里叶变换的基本思想是将一个时域信号分解为多个不同频率的正弦和余弦波的叠加。：相比DFT，FFT通过减少乘法次数来提高计算效率，时间复杂度降低到 𝑂(𝑁log𝑁)O(NlogN)。在实际应用中，例如一个音频处理服务，可以使用傅里叶变换来实现频谱分析或音频特征提取。其中，𝑋[𝑘]X[k] 是信号 𝑥[𝑛]x[n] 的傅里叶变换，𝑁N 是样本点数。：基于定义进行计算，时间复杂度为 𝑂(𝑛2)O(n2)，适用于小规模数据。：最常用的高效算法，时间复杂度为 𝑂(𝑛log𝑛)O(nlogn)。
2024-07-26 10:04:26
313
原创 SpringAI 技术解析
项目的灵感来自著名的 Python 项目，如 LangChain 和 LlamaIndex，但 Spring AI 并不是这些项目的直接复制。随着人工智能技术的快速发展，SpringAI 逐渐成为 Spring 生态系统中的一个重要组成部分，为开发者提供了便捷、灵活的解决方案。SpringAI 可以与数据库进行交互，例如，您可以将用户的自然语言查询翻译成 SQL 查询，并执行相应的数据库操作。通过以上示例和说明，您可以开始在您的项目中使用 SpringAI，为用户提供智能化的自然语言交互体验。
2024-05-12 00:20:19
837
原创 从政府工作报告探计算机行业发展
政府工作报告作为政府工作的全面总结和未来规划，不仅反映了国家整体的发展态势，也为各行各业提供了发展的指引和参考。随着信息技术的快速发展，计算机行业已经成为推动经济社会发展的重要引擎之一。因此，从政府工作报告中探寻计算机行业的发展趋势、政策导向和未来机遇，对于行业内的企业和从业者来说具有重要的指导意义。
2024-03-20 22:40:51
671
原创 LLM~AI写AI
在当前和未来的应用场景中，我们可以看到AI技术为我们的生活带来的巨大变革和便利。然而，随着AI技术的不断发展，我们也需要关注其潜在的风险和挑战，并积极应对相关问题。从最初的概念提出，到如今的广泛应用，AI技术已经成为我们生活中不可或缺的一部分。本文将带您领略AI技术的历史、发展、当前现状以及未来趋势，并探讨其在产品和技术领域的应用。盘古大模型强调在中文领域的表现，使用了大量的中文数据进行训练，以更好地适应中文语境下的应用场景。未来，我们需要建立完善的伦理规范和法律法规，确保AI技术的合理、公正和安全应用。
2024-03-14 19:42:03
386
1
原创 浅谈数仓发展
数仓作为企业数据管理的核心架构，经历了从传统到现代的演进过程。现代新型数仓采用灵活、可扩展的技术架构，具备更好的实时性和扩展性。未来数仓将继续推动数据创新应用的发展，并与人工智能、区块链等技术相结合，开创更广阔的数据管理和洞察领域。随着技术的不断发展和应用，数仓将继续发挥着重要的作用，助力企业实现数据驱动的业务成功。
2024-02-20 23:03:14
989
原创 构建高效可靠的数据血缘技术架构-文字解说
在日益快速增长的大数据领域，了解和管理数据的来源、流向以及变化成为了一项重要任务。数据血缘分析可以帮助企业更好地了解数据的历史记录和变化过程，提高数据质量和决策的准确性。构建高效可靠的数据血缘技术架构，有助于以下几点：提高数据质量：通过了解数据的来源、流向和变化过程，可以更好地监控和管理数据质量，减少数据错误和冗余，从而提高数据的准确性和可靠性。支持决策分析：数据血缘分析可以帮助企业更好地理解数据背后的故事，为决策提供可靠的数据支持。通过追踪数据的历史记录和变化，可以更准确地评估数据对业务决策的影响。
2024-02-06 13:06:54
967
原创 浅谈Doris在物联网应用
本文介绍了如何使用Doris分析物联网设备数据，包含基本概念和技术实现。通过使用Doris，我们可以轻松地对物联网设备数据进行建模、导入和查询，进一步分析设备使用情况和环境变化情况，为设备维护和管理提供有力支持。同时，我们还提供了Python代码示例，帮助读者更好地理解和使用Doris。
2024-01-04 21:47:28
785
原创 机器学习几大算法总结
机器学习十大算法总结:一、朴素贝叶斯二、决策树三、随机森林四、梯度提升树五、逻辑回归六、多层感知机七、因子分解机八、卷积神经网络九、循环神经网络十、变形金刚 等。
2023-12-11 00:46:08
305
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人