- 博客(2816)
- 收藏
- 关注
RSS订阅转载 服务器CPU常见知识点
1、什么是CPU（定义）：CPU（Central Processing Unit，中央处理器）是一块超大规模的集成电路，通常被称为计算机的大脑，是一台计算机的运算和控制核心，也是整个计算机系统中最重要的组成部件，是服务器行业的从业者要重点学习的知识领域。2、CPU相关的常见问题。
2024-09-06 13:48:30
66
转载 FastAPI
FastAPI 是一个基于 Python 3.6+ 版本的异步 WEB 应用框架，使用 Python 类型注解构建 web API。与 Node JS 和 Go 相当。将开发功能的速度提高 2~3 倍。减少大约 40% 的由开发人员导致的错误。强大的编辑器支持，可智能感知和补全代码。易于学习和使用，减少文档阅读时间。尽量减少代码重复。获得可用于生产的代码，具有自动交互文档。基于 OpenAPI 和 JSON Schema。✍ 基于 API 的开放标准 OpenAPI 就是之前被称为 Swagger 的标准。
2024-09-06 11:39:42
232
转载 大模型框架：Ollama、vLLM、LightLLM、llama.cpp、LocalAI、veGiantModel
vLLM大模型框架作为一款高效的大模型推理与服务引擎，通过创新的PagedAttention技术、连续批处理、CUDA核心优化以及分布式推理支持，显著提高了LLM的推理性能。LightLLM作为一个轻量级、高性能的LLM推理和服务器框架，以其独特的设计、高效的性能和易用性，在LLM的推理和应用领域展现出了巨大的潜力。LightLLM引入了一种以Token为粒度进行kv cache显存管理的特性，通过高性能的算子和高效的显存申请释放方式，有效管理模型推理过程中的显存占用，减少显存碎片化问题。
2024-09-06 09:49:34
423
转载 Anaconda和Conda
Anaconda是一个集成各类Python工具的集成平台，它本身不是一个开发工具，它只是将很多第三方的开发环境集成到一起。1）开源免费2）支持近800个第三方库3）包含多个主流工具4）适合数据计算领域开发5）跨平台十分方便 Windows/Linux/OS XConda可以理解为一个工具，也是一个可执行命令，其核心功能是包管理与环境管理。包管理与pip的使用类似，环境管理则允许用户方便地安装不同版本的python并可以快速切换。
2024-09-05 16:18:52
103
转载 具身智能（人形机器人）
具身智能是指机器人能够在物理世界中自主地感知环境、做出决策、执行动作等。涉及的技术栈中，通过软件和算法开发应用从而无需昂贵或专门化的硬件，比较适合开源社区。申昊科技的人形机器人小昊的具身智能节点是一个由大语言模型(LLM)、视觉语言模型(VLM)、动作控制系统、导航系统相互通信组成的 Multi-agent System；可以调用相机、麦克风等传感器感知环境调用机械臂、轮式底盘等身体部位执行动作。机器人的记忆系统分为短期记忆和长期记忆。短期记忆由多轮对话内容和动作记录构成。
2024-09-05 14:55:56
283
转载 具身智能介绍
具身智能（Embodied AI）是人工智能的一个发展领域，指一种智能系统或机器能够通过感知和交互与环境进行实时互动的能力。可以简单理解为各种不同形态的机器人，让它们在真实的物理环境下执行各种各样的任务，来完成人工智能的进化过程。具身智能机器人是“具身智能”的实体形态，有望成为AI的最终载体。其整体架构由感知层、交互层、运动层组成。“具身智能”最大的特质就是能够以主人公的视角去自主感知物理世界，用拟人化的思维路径去学习，从而做出人类期待的行为反馈，而不是被动的等待数据投喂。
2024-09-05 11:11:52
60
转载 vue3介绍
Vue (发音为 /vjuː/，类似view) 是一款用于构建用户界面的 JavaScript 框架。它基于标准 HTML、CSS 和 JavaScript 构建，并提供了一套声明式的、组件化的编程模型，帮助你高效地开发用户界面。无论是简单还是复杂的界面，Vue 都可以胜任。setup() {return {template结果展示1）声明式渲染：Vue。
2024-09-04 14:13:13
474
转载 人脸活体检测
活体检测是在一些身份验证场景确定对象真实生理特征的方法，在人脸识别应用中，活体检测能通过眨眼、张嘴、摇头、点头等组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人操作。可有效抵御照片、视频、换脸、面具、遮挡、3D动画以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，保障用户的利益。
2024-09-04 08:26:28
91
转载 使用AI大模型的5中方式
真正的魔力在于结合这些方法：提示词、RAG、微调、切换模型和使用多模态大模型。利用每种方法的优势，并将其应用于文本和图像数据，以此用大模型提升你的生产力。
2024-08-29 10:55:11
177
1
转载 Ollama支持同时加载多个模型、单个模型同时处理多个请求
我们使用ollama 有一段时间了，Ollama是一个开源框架，主要用于在本地机器上运行和管理大型语言模型（LLM）。它有以下特点：1）易用性：Ollama设计简洁，使得即使是非专业用户也能轻松部署和管理大型语言模型。它通过提供命令行界面和集成Docker容器来简化部署过程。2）支持多种操作系统：Ollama支持MacOS、Linux以及Windows平台，这使得广泛的用户群体都能够使用这一工具。
2024-08-29 10:38:06
192
转载 AI芯片算力基础知识
流水线越多，生产的玩具就越多，虽然“玩具工厂”的性能可能会越好，但也受限于每个流水线的生产效率、生产设备的架构、生产存储资源能力等。其中浮点计算可细分为半精度（2Bytes，FP16）、单精度（4Bytes，FP32）和双精度（8Bytes，FP64）浮点计算，加上整型精度（1Byte，INT8）。：基于GPU（图像处理器）、FPGA（现场可编程逻辑门阵列）、ASIC（专用集成电路）等AI芯片的加速计算平台提供的算力，主要用于AI的训练和推理计算，比如语音、图像和视频的处理。
2024-08-28 11:06:24
246
转载 50个算力典型应用场景（覆盖24大领域）
应用场景描述：大促时期，电商平台面临极端流量高峰和交易处理需求，需要利用云计算和大数据技术来扩展其计算能力和数据处理能力。案例：某电子音乐家使用Max/MSP和高性能计算技术，在现场表演中实现了复杂的实时音频处理，创造独特的互动式听觉体验。案例：各大平台在双11购物节、618购物节期间，通过云计算来确保网站和应用程序的稳定运行，同时提供良好的用户体验。算力的应用场景日益广泛，从科学研究到日常生活，无处不在。应用场景描述：电竞比赛中，服务器需要处理大量的游戏数据和玩家交互信息，确保比赛的公平性和流畅性。
2024-08-28 10:30:49
115
转载 “智算中心”10个知识点
从IDC发展历程分析，智算中心[下文简称AIDC]和传统的IDC，超算中心等，并没有特别本质的变化，个人认为只是换了一个叫法或别名。如果一定要总结区别，要从智算中心新型业务特点出发，比如算力种类，规模，单柜密度，PUE和液冷，网络带宽和种类，存储种类等有新的变化。网上对应AIDC-智算中心的分析很多，从不同的角度，所侧重的技术领域有所差距，打个比方做算力强调算力多样化，做网络的强调IB和ROCE组网，做存储的强调GDS和并行的性能等。智算中心建设-架构图。
2024-08-28 10:16:13
98
转载 服务器领域常见的缩写“术语”
1、FBWC=Flash-Based Write Cache(FBWC) 使用 flash 做存储，掉电时有一个大电容供电，将缓存中的内容写入flash。写入flash 后，永久有效，无72小时限制。2、BBWC=Battery-Backed Write Cache(BBWC) 使用电池供电，只能保持72小时的数据。目前主流的是FBWC，也就是超级电容电池的缺点是（内容来源于网上，仅供参考）1.需要定期充放电，充放电时 write back 被关闭，系统写性能降低。
2024-08-28 09:59:10
79
转载 web客户端对接sse服务，实现打字效果
参考网址 https://www.cnblogs.com/HTLucky/p/17326459.html。转自：https://www.jianshu.com/p/5017134f020f。新建文件 httpsseClient.js。
2024-08-27 15:30:07
28
转载 Fetch API
Fetch API 提供了一个获取资源的接口（包括通过网络）。任何使用过 XMLHttpRequest 的人都会觉得很熟悉，但Fetch API 提供了一个更强大和更灵活的功能集。
2024-08-27 13:59:01
70
转载 5款国产开源工作流引擎
随着数字化转型的深入，国内企业对复杂审批流程的需求日益增加。中国特色审批流通常涉及多级审批、会签、串签等复杂流程，选择合适的开源工作流引擎尤为重要。本文将推荐五款优秀的国产开源工作流引擎，帮助企业快速落地中国特色审批流，满足多样化的业务需求。这些引擎不仅功能强大，灵活性高，还拥有良好的社区支持和活跃的开发生态，一起来看看吧！
2024-08-26 17:04:04
114
转载 AI框架之Spring AI与Spring Cloud Alibaba AI
在软件开发的世界中，Java一直是企业级应用的主力军。而Spring框架，尤其是Spring Boot，以其生态系统的丰富性，为开发者提供了无与伦比的便利。现在，Spring Boot正迈向一个新的纪元——人工智-能的时代。Spring AI项目的推出，不仅标志着Spring生态的进一步扩展，也为广大Java开发者开启了一个全新的编程领域。Spring AI是从著名的Python项目LangChain和LlamaIndex中汲取灵感，它不是这些项目的直接移植。
2024-08-23 11:24:46
58
原创 HBM2和GDDR5内存比较
在比较HBM2（High Bandwidth Memory 2）和GDDR5（Graphics Double Data Rate version 5）内存时，我们可以从带宽、功耗、容量、成本以及应用场景等多个维度进行分析。
2024-08-23 10:53:45
299
转载 为什么Embedding模型在大语言模型中很重要？
在机器学习和自然语言处理中，Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。本文主要关注文本embedding。Embedding重要的原因在于它可以表示单词或者语句的语义。实值向量的embedding可以表示单词的语义，主要是因为这些embedding向量是根据单词在语言上下文中的出现模式进行学习的。例如，
2024-08-23 09:52:01
45
转载 Ollama利用嵌入模型实现RAG应用
Ollama支持embedding models嵌入模型，从而支持RAG（retrieval augmented generation）应用，结合文本提示词，检索到文档或相关数据。嵌入模型是通过训练生成向量嵌入，这是一长串数字数组，代表文本序列的关联关系。Ollama的嵌入模型有三种：mxbai-embed-large、nomic-embed-text 、all-minilm。
2024-08-23 09:25:53
85
转载 大模型量化与蒸馏
随着人工智能（AI）技术的飞速发展，大模型已成为推动智能应用创新的重要力量。然而，大模型庞大的参数规模和计算需求，给实际部署带来了巨大的挑战。为了解决这一问题，大模型量化和蒸馏技术应运而生，成为AI领域的研究热点。下面简单解析大模型量化和蒸馏的原理、应用及发展趋势。大模型量化，顾名思义，是指将大模型的参数从高精度浮点数转换为低精度整数或其他更紧凑的表示形式。这一技术旨在降低模型的计算复杂度、存储需求和能耗，从而提高模型的运行效率。
2024-08-23 08:46:33
41
转载 Spring AI和Ollama
Spring AI不仅提供了与 OpenAI 进行API交互，同样支持与 Ollama 进行API交互。Ollama 是一个发布在GitHub上的项目，专为运行、创建和分享大型语言模型而设计，可以轻松地在本地启动和运行大型语言模型。
2024-08-22 17:28:23
33
转载 text/event-stream
GPT火了之后，一种新的Http MediaType慢慢火了起来，它就是。这几种类型本质上都是客户端与服务端打开了一个长连接，服务端可以多次写入一部分数据给客户端，客户端可以多次读取，直到全部读取完成。由于ChatGPT的特性，如果需要生成的token较多，等它全部生成完成将消耗较多的时间，但是如果你将它生成过程中的数据源源不断地展示给用户，那么用户端的体验也不会差（类似于在线播放视频，不需要把整个视频下载完成才能播放）支持服务端分多次往客户端写内容。
2024-08-22 17:18:30
71
转载 Event Stream提升Web应用响应速度
Event Stream技术是一种允许服务器向客户端推送实时数据的技术。与传统的客户端定期轮询服务器以获取数据的方式不同，Event Stream技术允许服务器在有新数据可用时立即向客户端推送数据。这种技术通常基于HTTP/2协议，通过持久连接实现数据的实时推送。
2024-08-22 08:10:14
60
转载 本地打造自己的AI个人专属知识库
虽然对于大多数人来讲，由于我们的电脑配置等原因，部署本地大模型并且达到很好的效果是很奢侈的一件事情。但是这并不妨碍我们对其中的流程和原理进行详细的了解只需三步，本地打造自己的AI个人专属知识库_本地知识库-CSDN博客。
2024-08-21 15:50:18
38
转载 从异常感知到故障处理：多Agent（智能体）在故障处理中的应用
此方法结合了文本、图像和其他数据源的信息，不仅提高了检测的准确性，还增强了系统的智能化水平，能够更好地适应未来的发展需求。这一方法不仅适用于当前的工业系统，也为未来的智能系统提供了新的思路和启发。计划/反思，驱动不同的角色使用工具，进行诊断，并通过工具使用和编码能力完成故障处理和修复的操作，最终实现故障的诊断和修复。这样的环境不仅适应性强，而且可以随着技术发展不断更新，保持系统的先进性。每个Agent在系统中都有独特的功能，确保故障处理的全面性和准确性。采用先进的诊断工具，提供精准分析，提升故障处理效率。
2024-08-21 14:17:19
49
原创 MariaDB和MySQL区别
所有的连接器，包括PHP、Perl、Python、Java、.NET、Ruby等在MariaDB上都可以正常使用，无需进行任何改动。：MariaDB支持多种存储引擎，包括InnoDB、MyISAM、Aria、XtraDB、PBXT等，而MySQL也支持这些存储引擎，但作为插件的形式出现。MariaDB支持更多的存储引擎和功能，例如支持更多的数据类型、多源复制、并行复制、表空间管理、虚拟列等。此外，MariaDB还提供了更好的查询优化器、并发性能和查询缓存，从而提高了查询性能。
2024-08-20 08:15:25
492
转载 PyPDF2详解
你可以使用它来读取 PDF 文档的内容、页面和元数据，也可以创建新的 PDF文件，合并多个 PDF 文件，拆分 PDF 文件为单独的页面，添加页面和水印等。自2016年起，PyPDF2 已经不怎么维护了，因此可能还需要考虑其他的 PDF 处理库，比如 PyMuPDF（也称为 fitz），pdfplumber，PDFMiner 等，这些库会提供更多功能和更好的兼容性。需要注意的是，PyPDF2 在处理某些特定类型的 PDF 文件时可能会有一些限制，特别是当 PDF 文件使用较新的功能或较复杂的结构时。
2024-08-19 15:06:09
44
转载 Python利用PyPDF2（3.0）库实现轻松提取PDF文本
当需要从PDF文件中提取文本时，Python中的PyPDF2库是一个非常有用的工具。无论您是需要分析PDF文档中的内容还是需要在文档中搜索特定的信息，PyPDF2都可以帮助您轻松实现这些任务。在本文中，我们将探讨如何使用PyPDF2库提取PDF文件中的文本，并提供一些示例代码来帮助您入门。
2024-08-19 14:43:54
81
原创 昇腾训练芯片和推理芯片的区别
这些芯片需要能够在有限的电源和计算资源下运行复杂的AI模型，为用户提供实时或近实时的智能服务。由于训练过程需要处理的数据量和计算量极大，训练芯片必须具备足够的计算能力来保证模型的训练精度，并尽可能缩短训练时间。因此，训练芯片设计时会更偏向于增加更多的计算资源，即便这样做会导致更高的能耗。：主要被用于云计算和大型数据中心环境中，利用几乎无限的电源和散热设施进行大规模并行计算，以在尽可能短的时间内完成模型的训练。处理大量的数据和复杂的计算，以优化模型参数，提高模型的准确率和泛化能力。训练芯片的设计重点在于。
2024-08-19 09:01:55
378
原创 昇腾芯片和显卡的区别
昇腾芯片：是华为自主研发的专门用于人工智能（AI）的芯片系列，如昇腾310和昇腾910等。这些芯片设计用于优化机器学习模型的处理效率，在AI推理和训练任务中表现出色。它们通常被集成在AI加速器、服务器等设备中，以提供强大的AI计算能力。显卡（Graphics Card）：也称为图形处理器（GPU），是一种用于处理和生成计算机图像的硬件设备。显卡在计算机系统中的作用至关重要，广泛应用于游戏、视频编辑、3D建模和渲染、科学计算等领域。显卡能够提升计算机的图形处理能力，使计算机能够更流畅地处理图像和视频数据。
2024-08-19 08:57:21
1346
转载 java导出pdf（纯代码实现）
在项目开发中，产品的需求越来越奇葩啦，开始文件下载都是下载为excel的，做着做着需求竟然变了，要求能导出pdf。方法二：利用HTML页面导出，奈何自己不会写HTML，前端忙没时间帮忙写。方法一：利用模板导出，但是首先编辑模板的工具不好找，现有的国外的工具要收费，所以放弃了这个。方法三：自己用纯代码画格式（可调字体大小，颜色，对复杂没有规则的数据都可以）更新于2023-12-15，更新内容：导出PDF增加页码和设置页边距。更新----2024-06-12 业务层更新调用的包展示。效果：内容全部为代码实现。
2024-08-18 21:31:07
267
原创 GLM4与ChatGLM-6B
此外，由于ChatGLM-6B的开源性质，它也吸引了大量的研究者和开发者对其进行研究和改进。不过，通过训练超过1T标识符的中英双语对话数据，ChatGLM-6B在中文问答和对话回答方面已经具备了强大的能力。它基于Transformer架构，通过多层的自注意力机制和注意力权重，能够捕捉到句子中的长距离依赖关系，提高模型的性能。以GLM-4-9B为例，其参数量达到90亿，这相比一些较小的模型提供了更强的处理能力和更高的性能。：GLM4系列模型，特别是GLM-4-9B-Chat版本，支持更高级的功能，如。
2024-08-16 18:06:29
585
原创 Stable Diffusion-文生图
这种方法不仅提高了图像生成的速度，还降低了计算资源的需求。Stable Diffusion的优势在于其开源特性，这使得它不仅更新迅速，还吸引了大量活跃用户和开发者，形成了一个强大的社区支持其不断发展。总的来说，Stable Diffusion的出现极大地推动了文本到图像生成技术的发展，并通过其开源和社区驱动的特性，不断拓展应用领域和提升用户体验。对于希望深入了解和使用Stable Diffusion的用户，现有的教程和资源非常丰富，从基础安装到高级功能应用均有详细指导，这为各个级别的用户提供了极大的便利。
2024-08-13 11:04:12
438
转载 NUMA详解
node 0 10: 10 211: 21 10以上输出显示当前系统中有两个节点，分别是节点0和节点1。节点0具有16个物理CPU核心（编号为0到15和32到47），内存大小为261726 MB，可用内存大小为119515 MB。节点1具有与节点0相同数量的物理CPU核心，内存大小为262144 MB，可用内存大小为118662 MB。表中最后三行的数字表示两个节点之间的距离，这是访问跨节点内存的相对延迟或成本的一种度量。
2024-08-13 10:35:27
287
转载 GaussDB和OpenGauss数据库简要对比
本文简要对比了GaussDB和OpenGauss数据库，二者作为优秀的国产数据库虽然在发展路线和应用场景上会有所不同，但在国产化基础软件信创改造的过程中都发挥了重要的作用。GaussDB作为企业级的分布式数据库，在金融、电信等关键行业应用广泛，而OpenGauss作为开源版本，更像MySQL或PostgreSQL数据库一样的开源生态，吸引更多的国产数据库爱好者参与共建、开发和优化。参考资料：数据库系列之简要对比下GaussDB和OpenGauss数据库-CSDN博客。
2024-08-13 10:20:09
52
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人