- 博客(2758)
- 收藏
- 关注
RSS订阅转载 AI框架之Spring AI与Spring Cloud Alibaba AI
在软件开发的世界中，Java一直是企业级应用的主力军。而Spring框架，尤其是Spring Boot，以其生态系统的丰富性，为开发者提供了无与伦比的便利。现在，Spring Boot正迈向一个新的纪元——人工智-能的时代。Spring AI项目的推出，不仅标志着Spring生态的进一步扩展，也为广大Java开发者开启了一个全新的编程领域。Spring AI是从著名的Python项目LangChain和LlamaIndex中汲取灵感，它不是这些项目的直接移植。
2024-08-23 11:24:46
8
原创 HBM2和GDDR5内存比较
在比较HBM2（High Bandwidth Memory 2）和GDDR5（Graphics Double Data Rate version 5）内存时，我们可以从带宽、功耗、容量、成本以及应用场景等多个维度进行分析。
2024-08-23 10:53:45
128
转载 为什么Embedding模型在大语言模型中很重要？
在机器学习和自然语言处理中，Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。本文主要关注文本embedding。Embedding重要的原因在于它可以表示单词或者语句的语义。实值向量的embedding可以表示单词的语义，主要是因为这些embedding向量是根据单词在语言上下文中的出现模式进行学习的。例如，
2024-08-23 09:52:01
7
转载 Ollama利用嵌入模型实现RAG应用
Ollama支持embedding models嵌入模型，从而支持RAG（retrieval augmented generation）应用，结合文本提示词，检索到文档或相关数据。嵌入模型是通过训练生成向量嵌入，这是一长串数字数组，代表文本序列的关联关系。Ollama的嵌入模型有三种：mxbai-embed-large、nomic-embed-text 、all-minilm。
2024-08-23 09:25:53
4
转载 大模型量化与蒸馏
随着人工智能（AI）技术的飞速发展，大模型已成为推动智能应用创新的重要力量。然而，大模型庞大的参数规模和计算需求，给实际部署带来了巨大的挑战。为了解决这一问题，大模型量化和蒸馏技术应运而生，成为AI领域的研究热点。下面简单解析大模型量化和蒸馏的原理、应用及发展趋势。大模型量化，顾名思义，是指将大模型的参数从高精度浮点数转换为低精度整数或其他更紧凑的表示形式。这一技术旨在降低模型的计算复杂度、存储需求和能耗，从而提高模型的运行效率。
2024-08-23 08:46:33
5
转载 Spring AI和Ollama
Spring AI不仅提供了与 OpenAI 进行API交互，同样支持与 Ollama 进行API交互。Ollama 是一个发布在GitHub上的项目，专为运行、创建和分享大型语言模型而设计，可以轻松地在本地启动和运行大型语言模型。
2024-08-22 17:28:23
5
转载 text/event-stream
GPT火了之后，一种新的Http MediaType慢慢火了起来，它就是。这几种类型本质上都是客户端与服务端打开了一个长连接，服务端可以多次写入一部分数据给客户端，客户端可以多次读取，直到全部读取完成。由于ChatGPT的特性，如果需要生成的token较多，等它全部生成完成将消耗较多的时间，但是如果你将它生成过程中的数据源源不断地展示给用户，那么用户端的体验也不会差（类似于在线播放视频，不需要把整个视频下载完成才能播放）支持服务端分多次往客户端写内容。
2024-08-22 17:18:30
5
转载 Event Stream提升Web应用响应速度
Event Stream技术是一种允许服务器向客户端推送实时数据的技术。与传统的客户端定期轮询服务器以获取数据的方式不同，Event Stream技术允许服务器在有新数据可用时立即向客户端推送数据。这种技术通常基于HTTP/2协议，通过持久连接实现数据的实时推送。
2024-08-22 08:10:14
6
转载 本地打造自己的AI个人专属知识库
虽然对于大多数人来讲，由于我们的电脑配置等原因，部署本地大模型并且达到很好的效果是很奢侈的一件事情。但是这并不妨碍我们对其中的流程和原理进行详细的了解只需三步，本地打造自己的AI个人专属知识库_本地知识库-CSDN博客。
2024-08-21 15:50:18
3
转载 从异常感知到故障处理：多Agent（智能体）在故障处理中的应用
此方法结合了文本、图像和其他数据源的信息，不仅提高了检测的准确性，还增强了系统的智能化水平，能够更好地适应未来的发展需求。这一方法不仅适用于当前的工业系统，也为未来的智能系统提供了新的思路和启发。计划/反思，驱动不同的角色使用工具，进行诊断，并通过工具使用和编码能力完成故障处理和修复的操作，最终实现故障的诊断和修复。这样的环境不仅适应性强，而且可以随着技术发展不断更新，保持系统的先进性。每个Agent在系统中都有独特的功能，确保故障处理的全面性和准确性。采用先进的诊断工具，提供精准分析，提升故障处理效率。
2024-08-21 14:17:19
7
原创 MariaDB和MySQL区别
所有的连接器，包括PHP、Perl、Python、Java、.NET、Ruby等在MariaDB上都可以正常使用，无需进行任何改动。：MariaDB支持多种存储引擎，包括InnoDB、MyISAM、Aria、XtraDB、PBXT等，而MySQL也支持这些存储引擎，但作为插件的形式出现。MariaDB支持更多的存储引擎和功能，例如支持更多的数据类型、多源复制、并行复制、表空间管理、虚拟列等。此外，MariaDB还提供了更好的查询优化器、并发性能和查询缓存，从而提高了查询性能。
2024-08-20 08:15:25
343
转载 PyPDF2详解
你可以使用它来读取 PDF 文档的内容、页面和元数据，也可以创建新的 PDF文件，合并多个 PDF 文件，拆分 PDF 文件为单独的页面，添加页面和水印等。自2016年起，PyPDF2 已经不怎么维护了，因此可能还需要考虑其他的 PDF 处理库，比如 PyMuPDF（也称为 fitz），pdfplumber，PDFMiner 等，这些库会提供更多功能和更好的兼容性。需要注意的是，PyPDF2 在处理某些特定类型的 PDF 文件时可能会有一些限制，特别是当 PDF 文件使用较新的功能或较复杂的结构时。
2024-08-19 15:06:09
10
转载 Python利用PyPDF2（3.0）库实现轻松提取PDF文本
当需要从PDF文件中提取文本时，Python中的PyPDF2库是一个非常有用的工具。无论您是需要分析PDF文档中的内容还是需要在文档中搜索特定的信息，PyPDF2都可以帮助您轻松实现这些任务。在本文中，我们将探讨如何使用PyPDF2库提取PDF文件中的文本，并提供一些示例代码来帮助您入门。
2024-08-19 14:43:54
8
原创 昇腾训练芯片和推理芯片的区别
这些芯片需要能够在有限的电源和计算资源下运行复杂的AI模型，为用户提供实时或近实时的智能服务。由于训练过程需要处理的数据量和计算量极大，训练芯片必须具备足够的计算能力来保证模型的训练精度，并尽可能缩短训练时间。因此，训练芯片设计时会更偏向于增加更多的计算资源，即便这样做会导致更高的能耗。：主要被用于云计算和大型数据中心环境中，利用几乎无限的电源和散热设施进行大规模并行计算，以在尽可能短的时间内完成模型的训练。处理大量的数据和复杂的计算，以优化模型参数，提高模型的准确率和泛化能力。训练芯片的设计重点在于。
2024-08-19 09:01:55
266
原创 昇腾芯片和显卡的区别
昇腾芯片：是华为自主研发的专门用于人工智能（AI）的芯片系列，如昇腾310和昇腾910等。这些芯片设计用于优化机器学习模型的处理效率，在AI推理和训练任务中表现出色。它们通常被集成在AI加速器、服务器等设备中，以提供强大的AI计算能力。显卡（Graphics Card）：也称为图形处理器（GPU），是一种用于处理和生成计算机图像的硬件设备。显卡在计算机系统中的作用至关重要，广泛应用于游戏、视频编辑、3D建模和渲染、科学计算等领域。显卡能够提升计算机的图形处理能力，使计算机能够更流畅地处理图像和视频数据。
2024-08-19 08:57:21
928
转载 java导出pdf（纯代码实现）
在项目开发中，产品的需求越来越奇葩啦，开始文件下载都是下载为excel的，做着做着需求竟然变了，要求能导出pdf。方法二：利用HTML页面导出，奈何自己不会写HTML，前端忙没时间帮忙写。方法一：利用模板导出，但是首先编辑模板的工具不好找，现有的国外的工具要收费，所以放弃了这个。方法三：自己用纯代码画格式（可调字体大小，颜色，对复杂没有规则的数据都可以）更新于2023-12-15，更新内容：导出PDF增加页码和设置页边距。更新----2024-06-12 业务层更新调用的包展示。效果：内容全部为代码实现。
2024-08-18 21:31:07
37
原创 GLM4与ChatGLM-6B
此外，由于ChatGLM-6B的开源性质，它也吸引了大量的研究者和开发者对其进行研究和改进。不过，通过训练超过1T标识符的中英双语对话数据，ChatGLM-6B在中文问答和对话回答方面已经具备了强大的能力。它基于Transformer架构，通过多层的自注意力机制和注意力权重，能够捕捉到句子中的长距离依赖关系，提高模型的性能。以GLM-4-9B为例，其参数量达到90亿，这相比一些较小的模型提供了更强的处理能力和更高的性能。：GLM4系列模型，特别是GLM-4-9B-Chat版本，支持更高级的功能，如。
2024-08-16 18:06:29
463
原创 Deepfacelive
总的来说，Deepfacelive作为一款强大的AI实时换脸工具，提供了丰富的功能和设置选项，帮助用户轻松实现逼真的换脸效果。它主要依赖于deepfacelab的相关技术，针对实时应用进行了优化，确保操作的高效性和实现的逼真效果。：在使用Deepfacelive进行实时换脸之前，需要先使用deepfacelab等工具训练一个用于替换的人脸模型。：软件的核心算法与deepfacelab基本一致，只是在工程上进行了针对实时场景的优化。：可以选择不同的人脸检测算法和设备进行配置，以适应不同的应用场景和硬件条件。
2024-08-13 11:09:48
261
原创 Stable Diffusion-文生图
这种方法不仅提高了图像生成的速度，还降低了计算资源的需求。Stable Diffusion的优势在于其开源特性，这使得它不仅更新迅速，还吸引了大量活跃用户和开发者，形成了一个强大的社区支持其不断发展。总的来说，Stable Diffusion的出现极大地推动了文本到图像生成技术的发展，并通过其开源和社区驱动的特性，不断拓展应用领域和提升用户体验。对于希望深入了解和使用Stable Diffusion的用户，现有的教程和资源非常丰富，从基础安装到高级功能应用均有详细指导，这为各个级别的用户提供了极大的便利。
2024-08-13 11:04:12
405
转载 NUMA详解
node 0 10: 10 211: 21 10以上输出显示当前系统中有两个节点，分别是节点0和节点1。节点0具有16个物理CPU核心（编号为0到15和32到47），内存大小为261726 MB，可用内存大小为119515 MB。节点1具有与节点0相同数量的物理CPU核心，内存大小为262144 MB，可用内存大小为118662 MB。表中最后三行的数字表示两个节点之间的距离，这是访问跨节点内存的相对延迟或成本的一种度量。
2024-08-13 10:35:27
29
转载 GaussDB和OpenGauss数据库简要对比
本文简要对比了GaussDB和OpenGauss数据库，二者作为优秀的国产数据库虽然在发展路线和应用场景上会有所不同，但在国产化基础软件信创改造的过程中都发挥了重要的作用。GaussDB作为企业级的分布式数据库，在金融、电信等关键行业应用广泛，而OpenGauss作为开源版本，更像MySQL或PostgreSQL数据库一样的开源生态，吸引更多的国产数据库爱好者参与共建、开发和优化。参考资料：数据库系列之简要对比下GaussDB和OpenGauss数据库-CSDN博客。
2024-08-13 10:20:09
14
转载 使用MySQL等开源产品能做信创替换吗
数据库不是孤立产品，是否能在很顺利的推广使用，是需要上下游及周边产品的配合。近些年来，随着分布式、云原生、HTAP、软硬一体、AI、多模等技术在数据库领域的大规模应用，也给了国内厂商实现弯道超车的机遇。自主可控，可以说是对信创数据库的最基本的要求，也是做信创工作的核心出发点。的要求，支持国内自主研发和技术创新，能够在关键信息基础设施中替代国外产品，保障国家信息安全。广义上的安全，则是从国家信息安全角度来看，应可做到替代国外产品，实现真正的。有了上面的判断标准后，针对业内常见的一些疑问，就可以自行判断了。
2024-08-13 09:37:58
8
转载 Win10有哪些版本
win10系统主要分为 7个版本 ， 4个PC端和3个移动端。串流Xbox One游戏的能力、微软开发的通用Windows应用(Photos、Maps、Mail、Calendar、Music和Video)。4、 win10教育版(Education)： 以企业版为基础，面向学校教师和学生的版本，提供教育机构批量许可。3、 win10企业版(Enterprise) ：针对企业用户推出的包含先进功能的版本，提供批量授权;除具有Windows 10家庭版的功能外，用户还能管理设备和应用，保护敏感的企业数据。
2024-08-12 12:22:24
21
转载 向量数据库
本文主要介绍了向量数据库的原理和实现，包括向量数据库的基本概念、相似性搜索算法、相似性测量算法、过滤算法和向量数据库的选型等等。向量数据库是崭新的领域，目前大部分向量数据库公司的估值乘着 AI 和 GPT 的东风从而飞速的增长，但是在实际的业务场景中，目前向量数据库的应用场景还比较少，抛开浮躁的外衣，向量数据库的应用场景还需要开发者们和业务专家们去挖掘。向量数据库｜一文全面了解向量数据库的基本概念、原理、算法、选型-CSDN博客。
2024-08-08 16:57:16
39
原创 Embedder Models是什么
例如，在NLP中，通过词嵌入技术（如Word2Vec、GloVe或BERT），模型可以将具有相似意义的词映射到向量空间中的相近位置，从而捕获单词的语义特征。，能够捕捉到复杂的模式和深层次的关系，这是传统方法难以实现的。例如，在图像处理领域，使用卷积神经网络（CNN）等模型提取图像特征并将其转换为高维向量，这些向量可以用于图像识别、分类或检索任务。同样，在声音处理领域，音频信号可以被转换为特征向量，包括音调、节奏和音色等信息，从而用于声音识别或音乐生成。比如，在处理大型文档时，可以。
2024-08-08 14:16:27
327
转载 使用AnythingLLM的api调用
编写一个askLocalAnythingLLM方法，传入message参数，将授权信息等传入请求头中，得到返回的JSON处理后作为String类型传回。AnythingLLM是一个图形化的工具，想要在项目中使用，就必须使用API调用。点击左上角的Authorize进行认证，API key是作为请求头传入的。可以看到成功发挥了AnythingLLM的查询文档功能。根据Swagger给出的Curl命令，编写Java代码。好在AnythingLLM提供了这样的工具。找到工作空间的进行POST的Chat。
2024-08-08 13:32:02
28
原创 昇腾有哪些型号
Ascend 410的优势在于其紧凑的设计和出色的环境适应性，使其成为解决行业特定问题的高效方案。Ascend 310通过优化设计和高效的AI Core，能够在边缘设备上实现快速的推理处理，减少数据传输至云端的需求，从而降低系统延迟和带宽消耗。综上所述，华为昇腾系列AI芯片通过不同型号的划分，实现了从终端到边缘再到云端的全方位AI计算覆盖。每种型号都有其特定的应用场景和技术优势，共同构建了全面的AI计算生态。Ascend 910在典型的AI训练任务中，如ResNet-50模型的训练，显示出卓越的性能表现。
2024-08-08 09:45:39
270
原创 国产AI芯片
这些进步不仅提升了国产AI芯片的实用性，也为其在全球市场中提供了竞争力。存算一体芯片作为新兴技术，能够更好地适应AI大模型的快速演化，突破传统冯·诺依曼架构的限制，提供更高的能效比。天数智芯的天垓100已经实现与国内外多个大模型的兼容，显示出良好的市场适应性。到了3.0时代，存算一体芯片成为新趋势，以适应大模型对高算力的需求。综上所述，国产AI芯片不仅在技术上取得了显著进展，而且在市场应用和国际竞争中也开始展现出强大的竞争力。在AI的迅速发展下，国产AI芯片正逐步经历从1.0时代到3.0时代的跨越。
2024-08-08 09:21:55
114
转载 曙光服务器
曙光系列服务器是由中国科学院计算技术研究所国家智能计算机研究开发中心研究和开发的高性能计算机系统。曙光系列高性能计算机系统不仅具有重大的学术价值，而且得到了广泛的应用。它们在各种计算中心、网络中心、信息中心、清算中心、结算中心、计费中心、数据中心、处理中心、电子商务和交换中心，以及大专院校、科研院所、大中型企业和政府机关做主服务器；还广泛应用于石油、气象、水利水电、航空航天及汽车轮船设计模拟、地震监测预报、环境监测分析、金融证券、生物信息处理、网络信息服务和基础科学计算等行业领域。
2024-08-07 16:02:40
11
原创 鲲鹏处理器
同时，鲲鹏处理器还采用了领先的CoWoS封装技术，通过多Die合封提升良率和降低整体成本。这种架构使得鲲鹏处理器具有更高的集成度、更低的功耗和更好的并发性能。总之，鲲鹏处理器凭借其高性能、高集成度和高能效等特点，在数据中心、移动平台和各类智能设备中得到了广泛应用，推动了计算能力的大幅提升。鲲鹏920处理器集成了CPU、南桥、网卡、SAS存储控制器等四颗芯片的功能，大幅提高了系统的集成度。鲲鹏处理器不仅在硬件上表现出色，还内置了加速引擎，用于提升特定应用的性能。的硬件加速，显著提高了相关应用的运行效率。
2024-08-07 15:52:09
172
转载 大屏数据可视化设计指南
把相对复杂、抽象的数据通过可视的方式以人们更易理解的形式展示出来的一系列手段叫做数据可视化，数据可视化是为了更形象地表达数据内在的信息和规律，促进数据信息的传播和应用。在当前新技术支持下，数据可视化除了“可视”，还可有可交流、可互动的特点。数据可视化的本质是数据空间到图形空间的映射，是抽象数据的具象表达。数据可视化作品《launchit》作者：Shane Mielke作者写了本书，地图上显示了世界各地读者的分布情况及对应人数。
2024-08-07 09:10:50
22
转载 可视化图表之达成分析
能够直观的表现出某个指标的完成情况或占比情况，在项目进度、计划完成度较常见。只适合展现数据的累计情况，不适用于数据的分布特征等，同时一般超过100%后不好表现。有表格如下：注：因圆环只有一半，所以P1-P3都是辅助数据，相当于把达成率和未达成率均减半1：选择P1-P3数据及表头 - 插入 - 图表 - 饼图或圆环图，选择圆环图2：在图表右键 - 设置数据系列格式 - 第一扇区起始角度设为270°，圆环大小调整为60%左右，隐藏下方灰色部分（无轮廓+无填充）
2024-08-06 15:38:22
44
转载 NVIDIA显卡驱动和GPU管理工具——nvidia-driver 和 nvidia-smi 简介
NVIDIA 驱动是一种专门为 NVIDIA GPU(图形处理单元)设计的软件，它是计算机系统与 NVIDIA GPU 之间的桥梁。NVIDIA 驱动使操作系统能够识别并与 GPU 通信，从而发挥 GPU 的全部功能和性能。它包含了控制 GPU 运行、优化图形性能、提供 API 支持等关键组件。没有合适的驱动程序，GPU 就无法正常工作。nvidia-smi 是 NVIDIA 官方提供的一个命令行工具，用于监控和管理 NVIDIA GPU 设备。它是NVIDIA 驱动程序包的一部分。
2024-08-05 11:19:29
156
转载 自动化测试工具-selenium介绍及基本使用方法
Selenium支持多平台、多浏览器、多语言去实现自动化测试，是一个开源和可移植的Web测试框架，支持并行测试执行，从而减少了时间并提高了测试效率。利用它，我们可以编写相关的自动化程序，让程序完全像人一样在浏览器里面操作Web界面，比如模拟鼠标点击、模拟键盘输入等等。不但能够操作Web界面，还能从Web中获取信息，并且相对来说，使用Selenium来获取信息更加简单，它的基本原理是我们编写自动化程序之后利用浏览器驱动直接对浏览器进行操作，只要我们用户能在浏览器上获得的信息使用Selenium都可以获得。
2024-08-01 22:14:44
203
转载 大模型系列——解读RAG
一个很好的老选择是有一个交叉编码器。它的工作原理是把查询和每个最高k个检索到的文本块传递给交叉编码器，用一个标记分隔，然后对它进行微调，相关的块输出为1，不相关的块输出为0。数据块的大小是一个需要考虑的参数，它取决于使用的嵌入模型及其token容量，标准的transformer编码模型，如BERT 的句子转换器，最多只能使用512个token，OpenAI ada-002能够处理更长的序列，如8191个token，但这里的折衷是足够的上下文，让 LLM 能够推理以及特定的足够文本嵌入，以便有效地执行搜索。
2024-08-01 08:12:44
46
转载 让大语言模型输出你想要的内容
此方法的优点是，每个查询将仅包含执行任务下一阶段所需的指令，与使用单个查询执行整个任务相比，这可能会导致较低的错误率。如果有必要使用有关前面部分的信息来理解后面的部分，那么另一个有用的技巧是，在总结该点的内容时，在本书中任何给定点之前包含文本的运行摘要。一旦输入的大小达到预定的阈值长度，这可能会触发一个查询，该查询汇总了部分会话，并且可以将先前会话的摘要作为系统消息的一部分包含在内。在某些情况下，对提示的修改将在几个孤立的示例上获得更好的性能，但在一组更具代表性的示例上会导致整体性能较差。
2024-07-30 15:56:46
41
转载 LLM超参数使用说明
本文源自，是对这则博客的一个小总结。原始博客的结构如下Sampling这里我只提取了几个我个人感兴趣的内容，即Temperature、Top-k、Top-p以及Structured Outputs。
2024-07-30 14:54:59
34
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人