- 博客(153)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 19-7 LLM之野望 7 - 面试题选集
大型语言模型 (LLM) 是自然语言处理 (NLP) 技术的前沿。无论您是在准备面试还是希望加深理解，熟悉与 LLM 相关的关键概念和技术都至关重要。在这里，我们针对一些最常见的 LLM 面试问题提供全面而详细的答案，并提供增强的解释。
2024-07-22 00:15:00
524
原创 旷野之间25 - 科技行业已经停止开发客户想要的东西
几天前，我刚刚从苹果的 WWDC 2024 活动中吸收了我需要的所有信息。我的意思是......嗯。说真的，您上次排队购买最新最好的科技产品是什么时候？您上次收到电子邮件并点击链接以了解有关“将您的业务提升到新水平”的软件平台网络研讨会的更多信息是什么时候？我们变得如此厌倦了吗？还是现在的科技很糟糕？两者都有一点。
2024-07-22 00:15:00
493
原创 19-8 LLM之野望 8 -LLM 评估
评估，通常缩写为“Evals”，是对 LLM 及其申请表现的系统评估和衡量。评估是一系列精心设计的测试和指标，用于判断您的申请是否“可用于生产”。Eva 是提供深入洞察您的应用如何与用户输入和真实数据交互的重要工具。对您的应用进行稳健评估意味着确保它不仅符合技术规范，而且符合用户期望并在实际场景中证明其价值。
2024-07-22 00:00:00
434
原创 19-5 LLM之野望 5 - 使用ONNX 模型量化将LLM速度提高 3 倍
运行 LLM 嵌入模型在 CPU 上速度很慢，在 GPU 上成本很高。我们将使用将其速度提高 3 倍，看看不同的如何影响新旧硬件上的性能，并在量化模型的基础上进一步进行。
2024-07-21 00:00:00
630
原创 19-6 LLM之野望 6 - LLM 监控和可观察性
即使您的应用程序可以处理与您预期有很大不同的提示，您也需要知道客户与您的应用程序的交互是新的还是会随着时间的推移而发生变化。如果您发现问题，一些管理嵌入的工具允许您导出表现不佳的输出数据集，以便您可以针对这些麻烦的提示微调您的 LLM。您的 LLM 应用程序可能是独一无二的，或者您团队中一位敏锐的数据科学家想到了一种可以为您的方法增加重要价值的指标。当有人欺骗您的应用程序泄露您存储的提示时，就会发生提示泄漏。我强调的警报容易产生不可接受的误报率这一问题的一个原因是，用户界面不利于对警报进行适当的分析。
2024-07-21 00:00:00
448
原创 19-3 LLM之野望 3 – 模型量化基础知识
人工智能 (AI) 正在通过使机器能够执行复杂任务来彻底改变行业。随着 AI 模型变得越来越复杂，优化它们以实现高效运行至关重要。一项关键的优化技术是模型量化，它简化了模型中数字的精度，使其运行速度更快、功耗更低，同时对准确性的影响最小。此过程对于在计算资源有限的设备（如智能手机和嵌入式系统）上部署高级 AI 功能尤其重要。在本文中，我们将探讨量化的工作原理、其优势及其在增强各个领域的 AI 应用方面的作用。
2024-07-20 00:15:00
1057
原创 19-4 LLM之野望 4 - 探索大模型的量化
从本质上讲，模型量化就是为了提高效率。想象一下，你有一本非常厚的教科书（就像那些老式百科全书一样），需要整天随身携带。很累吧？现在，如果你能把它缩小到一本漫画书的大小，同时保留所有必要的信息，那会怎么样？这本质上就是量化对 LLM 的作用——它压缩了它们的大小，但又不失其功能的本质。从技术角度来说，量化将模型中使用的数字（权重）的精度从全浮点数降低到半浮点数、N 位浮点数或整数。这不仅使模型更轻，而且还加快了计算速度，因为处理较小的数字对计算机来说需要的工作更少。谷歌。
2024-07-20 00:00:00
695
原创 19-1 LLM之野望 1 – 微软打开1-bit LLM时代
数字时代已经到来，但它的到来并不平衡。但这远非唯一的问题。它对环境也有严重影响。如果我们认为，根据。
2024-07-19 00:00:00
874
原创 19-2 LLM之野望 2 - LLM给到Quora面临的困境
Quora 有一个简单的前提：它是一个分享知识和专业知识的地方，好奇的人可以就任何可以想象到的话题提出问题，并从平台博学的社区获得深思熟虑的、见识广博的答案。想想雅虎答案 (Yahoo Answers)，它适用于技术员工和格拉德威尔式的知识分子。Quora 由两名前 Facebook 员工于 2009 年创立，并迅速发展起来，其答案来自众多硅谷名人、常春藤盟校学者、业内人士以及热心的业余爱好者，他们热衷于对从平凡到深奥的各种问题发表看法。到 2014 年，其估值已超过 9 亿美元。
2024-07-19 00:00:00
998
原创 Unigine心得之村长的野望1 - 键盘鼠标控制物体移动
前几日写了一个小DEMO用到键盘用ASDW等按键控制一个物体的上下左右移动和旋转等操作。2：我的代码操作的是mSelectedNode,这个节点对象请自行准备。但相信可以作用在几乎所有的Unigine版本中。因为都是基础操作函数。//用aswd控制上下左右的位置变化，参考游戏控制。这个是一个非常基础的简单控制，但是查询官方文档也是很吃力。因此，分享在此处，方便大家不用闭门造车，重复造车。//用wr控制左侧旋转和右侧。//有当前对象才操作。1：移动旋转速度，自行控制。//设置旋转和移动的速度。
2024-07-18 16:57:23
513
原创 智慧城市遐想
此外，当我们谈论在虚拟环境中重建一个真实的城市时，我们需要记住大量的数据源，例如：数字高程模型、地形卫星图像、激光雷达扫描数据、无人机捕捉正射影像的数据（由摄影图树算法识别）、地标建筑的手工制作的 3D 模型、从专业软件导入的 BIM 模型。但是，一个饱受苦难的城市的基本需求是什么？一切始于你走出建筑时：交通系统（无论你开车还是乘坐公共交通）、建筑的形状和配置、阳光的缺乏、空气的质量、你工作的楼宇的位置、休闲区的稀缺、服务业中充斥着不守规矩的人——所有这些都使城市成为一个相当不适合居住的地方。
2024-07-18 10:14:02
416
原创 VDI 和 DaaS 的区别
无论您是希望增强安全性、降低成本或提高可扩展性的组织，还是寻求提高生产力和灵活性的个人，VDI 和 DaaS 都能提供改变未来工作方式的变革性优势。无论是 VDI 的定制和性能优势，还是 DaaS 的成本效益和可扩展性，这些技术都为企业提供了前所未有的机会来优化生产力、增强安全性和简化运营。领先的选择之一是 VMware Horizon，这是一款市场领先的 VDI 解决方案，以其强大的功能和久经考验的业绩而闻名。：VDI 通过提供安全策略和数据访问的集中管理，简化了行业法规的合规性。
2024-07-18 10:07:37
304
原创 几种VDI方案
根据选择和安全需求，组织为他们提供不同的部署选项，例如云、现场甚至混合。从员工的角度来看，他们可以获得的好处是，他们可以轻松访问工作资源，而不必担心网络威胁。它是一种桌面即服务 (DaaS)，员工可以访问文件、数据甚至类似的软件，而不会受到任何安全威胁。V2 Cloud 的首要优点之一是直观的界面，用户可以轻松概览平台的运行方式。Venn 的策略操作也可以根据组织的需求进行定制，而不会损害良好的用户体验。还提供安全功能以实现更安全的远程工作，例如多因素身份验证 (MFA) 以防止未经授权的数据访问。
2024-07-18 10:06:20
225
原创 VDI 与 VM的區別
虚拟机是通过将服务器的资源（例如 CPU、内存和存储）划分为多个独立的虚拟机来创建的。虚拟机 (VM) 是虚拟化环境，可模拟物理硬件以在单个物理服务器上托管多个操作系统。每个虚拟桌面都在单独的操作系统上运行，并拥有自己的资源，例如 CPU、内存和存储。VDI 或虚拟桌面基础架构是一种计算机虚拟化形式，允许将桌面托管在远程服务器上。每个 VM 都有自己的资源，并且可以配置不同的操作系统和应用程序。它允许许多用户从一台中央服务器访问自己的虚拟桌面。
2024-07-18 10:04:44
173
原创 17-6 向量数据库之野望6 - 最全教程
在之前的博客中，我们已经介绍了如何将原始数据嵌入到向量中。为了重复使用嵌入的信息，我们需要存储嵌入，以便可以按需访问它们。为此，我们使用一种特殊的数据库，称为矢量数据库。对于使用检索增强生成 (RAG) 的大规模应用程序而言，高效存储和检索嵌入（具有 CRUD 操作、元数据过滤和水平扩展等功能）至关重要。ChromaDB、Pinecone 和 Weaviate 等矢量数据库专门从事此工作，可提供快速检索和相似性搜索。集成正确的矢量数据库对于最大限度地提高 RAG 性能至关重要。
2024-07-16 08:00:00
1584
原创 17-10 向量数据库之野望10 - 如何选择向量数据库
向量数据库已成为存储和索引非结构化和结构化数据表示的首选。这些表示称为向量嵌入，由嵌入模型生成。向量存储在利用深度学习模型（尤其是大型语言模型）的应用程序开发中起着至关重要的作用。在现实世界中，并非所有数据都能整齐地排列在行和列中。在处理图像、视频和自然语言等复杂的非结构化数据时尤其如此。这就是矢量数据库的作用所在。矢量数据库是一种将数据存储为高维矢量的数据库，高维矢量本质上是代表对象特征或特性的数字列表。每个矢量对应一个唯一实体，例如一段文本、一张图片或一段视频。但为什么要使用向量呢？
2024-07-16 07:15:00
806
原创 17-5 向量数据库之野望5 - 使用 Rust 实现矢量数据库
矢量数据库是一种针对存储和查询矢量（表示高维空间中的点的数字数组）进行了优化的数据库。这些数据库对于在大型数据集中进行相似性搜索是关键操作的应用至关重要，例如推荐系统、图像检索和自然语言处理。矢量数据库中的关键概念包括：这些数据库中的向量表示数据点。例如，在图像识别中，图像可能表示为高维向量，其中每个维度对应于图像的一个特征。为了检索相似的向量，数据库需要一种方法来量化两个向量的“接近”或“相似”程度。常用度量包括欧几里得距离、曼哈顿距离和余弦相似度。在高维空间中进行高效搜索是一个具有挑战性的问题。
2024-07-16 07:00:00
595
原创 17-7 向量数据库之野望7 - PostgreSQL 和pgvector
Pgvector 是 PostgreSQL 的一个扩展，允许它高效地存储和查询矢量数据。它引入了一种新的数据类型，vector旨在保存高维数据。此扩展使 PostgreSQL 能够执行矢量相似性搜索，使其适用于涉及机器学习模型、NLP 等的应用程序。
2024-07-16 06:45:00
670
原创 17-8 向量数据库之野望8 - 7 个主流向量数据库
在快速发展的人工智能 (AI)、机器学习 (ML) 和数据工程领域，对高效数据存储和检索系统的需求至关重要。矢量数据库已成为管理这些技术通常依赖的复杂高维数据的关键解决方案。在这里，我们探讨了每个 AI/ML/数据工程师都应该熟悉的七个矢量数据库，重点介绍了它们的独特功能以及它们如何支持现代数据驱动应用程序的需求。
2024-07-16 06:45:00
762
原创 17-3 向量数据库之野望3 - SingleStoreDB 实践教程
矢量数据库是一种用于存储、索引和检索多维数据点（通常称为矢量）的数据库。与处理以表格形式组织的数据（如数字和字符串）的数据库不同，矢量数据库专门用于管理以多维矢量空间表示的数据。这使得它们非常适合人工智能和机器学习应用，其中数据通常采用矢量的形式，如图像嵌入、文本嵌入或其他类型的特征矢量。这些数据库利用索引和搜索算法进行相似性搜索，使它们能够快速识别数据集中最相似的向量。这种能力对于推荐系统、图像和语音识别以及自然语言处理等任务至关重要，因为有效理解和处理高维数据起着至关重要的作用。
2024-07-16 06:15:00
1081
原创 17-2 向量数据库之野望2 - 基础宝典
矢量数据库是一项技术，已成为不断变化的数据管理领域的重大变革者。凭借其无与伦比的速度和效率，这些尖端数据库正在彻底改变数据检索的规范。我们将在这次深入研究中探索矢量数据库的细微差别，理解其基本概念，并提供代码示例来展示其革命性的能力。传统关系型数据库难以满足大数据时代对高性能数据检索日益增长的期望。向量数据库利用向量（在多维空间中表达数据的数学实体）的功能来解决这些问题。结果是什么？无与伦比的闪电般快速的数据检索速度。
2024-07-16 05:15:00
1106
原创 17-9 向量数据库之野望9 - 将矢量数据库与 LLM 集成
在深入了解向量数据库之前，了解向量嵌入的概念至关重要。向量嵌入在机器学习中至关重要，用于将原始数据转换为 AI 系统可以理解的数字格式。这涉及将文本或图像等数据转换为高维空间中的一系列数字（称为向量）。高维数据是指具有许多属性或特征的数据，每个属性或特征代表不同的维度。这些维度有助于捕捉数据的细微特征。创建向量嵌入的过程从输入数据开始，输入数据可以是任何内容，从句子中的单词到图像中的像素。大型语言模型和其他 AI 算法会分析这些数据并识别其关键特征。
2024-07-16 03:15:00
674
原创 17-1 向量数据库之野望1 - 使用 Local LLM、VectorDB 和 Pydantic 构建 AI Slack Bot
欢迎来到 DIY 研讨会，创建您自己的 Slack FAQ Bot — 这是您成为 MVP 企业 wagie 的门票！本教程将指导您设置一个 Slack Bot，该 Bot 使用大型语言模型来处理和汇总信息，使用 Pydantic 来构造数据，使用矢量数据库来存储和检索 FAQ 条目。
2024-07-16 02:30:00
589
原创 17-4 向量数据库之野望4 - 科技热潮中前所未有的矢量数据库
2023 年在变革中飞速过去，矢量数据库的故事才刚刚开始。我们与 Milvus 矢量数据库的合作，并非为了迷失在 AIGC 的炒作中。相反，我们专注于精心开发我们的产品，识别和培育与我们的优势相符的应用用例，并坚定不移地为用户服务。我们对开源的承诺旨在弥合我们与用户之间的距离，让他们即使远在天涯也能感受到我们的奉献精神和工艺。2023 年还见证了许多 AI 初创公司的成立和第一轮融资。看到这些开发人员的创新令人兴奋，这让我想起了当初我从事 VectorDB 开发的原因。
2024-07-16 00:00:00
1019
原创 旷野之间19 - Nvidia 首席执行官建议不要学习编码
50 年前出现的许多技术都遵循了两种轨迹之一：它们要么发展以跟上现代的步伐，要么消失得无影无踪。一个例子是 1938 年推出的第一台可编程机械计算机。由于内存限制，它的操作能力有限，而且重量很重，很难想象今天在我们的家中或工作场所放置这样的设备。确实，有许多技术远见者对计算的未来及其与人类的互动进行了推测。这种做法并不新鲜——它有着悠久的历史，延续至今，预计还会持续到未来。塑造未来的前景总是吸引着我们，引发了支持者和反对者之间无休止的争论。最终，这些猜测归结为亚瑟·克拉克所说的“令人沮丧和危险的职业”
2024-07-14 06:30:00
689
原创 旷野之间15 – Groq 和 AI 硬件
很多人认为人工智能就像一个黑匣子。你把数据输入进去，人工智能会做一些晦涩难懂的数学运算，然后你就可以得到数据。人工智能的常见直觉是，它本质上是一个接收东西并输出东西的魔盒。这种直觉很受欢迎，因为人类有时很难理解模型的思维过程。仅仅因为人工智能模型擅长某项任务并不意味着人类能够轻易理解模型的决策。尽管从整体上理解模型决策背后的原理可能很困难，但人工智能模型实际上采用非常简单的数学运算来得出结论。人工智能思考方式的概念图。
2024-07-14 06:15:00
569
原创 旷野之间 16 – AI 代理、AI 代理基础设施、平台和比较
人工智能代理本质上是设计用于在环境中自主行动的软件程序。它们感知周围环境、收集数据并利用这些数据做出决策和执行任务以实现特定目标。与遵循一套严格指令的传统程序不同，人工智能代理可以适应并从经验中学习。
2024-07-14 06:15:00
591
原创 旷野之间18 - MLOps 和 LLMOps 的一些架构和设计原则
🏗 当谈到 MLOps 平台的架构时，您可能会感到恼火（喘息、震惊、恐惧），因为您实际上应该遵循与传统软件工程相同的许多原则。正如我将在本文后面讨论的那样，这也适用于 LLMOps。让我们列出一些你应该知道的重要设计原则。然后，您可以了解一些真正的软件工程经典，即原则，这些原则被编写用于面向对象编程 (OOP)，但它们实际上是非常通用的概念，您通常可以将它们应用于整个架构！：至于关注点分离，只做一件事更容易维护，也更可靠！：让您的组件“对扩展开放，但对修改封闭”。
2024-07-14 06:15:00
997
原创 旷野之间20 - Google 研究的推测 RAG
谷歌认为，通过让规模较小的专业 LM 处理起草，而规模较大的通用 LM 则并行对起草进行单次、公正的验证，这种方法可以显著加快 RAG 的速度。Speculative RAG 是一个框架，它使用更大的通用语言模型来有效地验证由较小的、专门的提炼语言模型并行生成的多个 RAG 草稿。每个草稿都是从检索到的文档的不同子集生成的，提供对证据的不同视角，同时最小化每个草稿的输入标记数量。每个草稿均来自检索到的文档的不同子集，从而提供不同的观点并减少每个草稿的输入标记数。
2024-07-14 06:15:00
703
原创 旷野之间17 - 适合所有人的 Transformer
最初出现在著名论文《基于Transformer的架构已成为大多数成功的人工智能模型中必不可少的。然而，许多用户甚至基于人工智能的产品的创造者可能不了解Transformer是什么或它是如何工作的。嗯，阅读研究论文并理解所有内容非常困难。本文旨在向所有人解释 Transformer 的基本概念，无论您是高中生还是经验丰富的技术专家。我们将重点介绍构成 Transformer 的基本直觉和逻辑块。我们将从简单的解释开始，逐渐深入探讨人工智能的更复杂方面。无需任何先验知识。
2024-07-14 06:00:00
950
原创 旷野之间4 - 100 个 Kubernetes 面试问题及答案
Kubernetes 机密是一种安全的方式，用于存储 Kubernetes 集群中运行的应用程序使用的敏感信息，例如密码、API 密钥和其他身份验证令牌。Kubernetes Kata Containers是Kubernetes的一个安全容器运行时选项，提供硬件实现的隔离，以确保容器之间的安全和隔离。Kubernetes CRI-O 是专为 Kubernetes 设计的容器运行时，为 Kubernetes 环境提供轻量、快速的容器运行时。Kubernetes 中的命名空间用于在用户之间划分集群资源。
2024-07-12 00:15:00
641
原创 旷野之间5 - AI基础代理决策的范式转变
让我们来谈谈最近在人工智能领域引起轰动的一件事——基础代理及其彻底改变我们所知的决策的潜力。现在，我知道你可能会想，“另一天，又一个人工智能突破，乏味无趣。”但相信我，这是一个改变游戏规则的突破，值得你关注。如果您一直在关注人工智能和人工智能代理的发展，那么您可能对 GPT-4 之类的大型语言模型 (LLM) 并不陌生，它只需进行少量微调即可处理各种任务。这些语言巨头向我们展示了人工智能的多功能性和适应性。
2024-07-12 00:00:00
1015
原创 旷野之间6 - 什么更重要-＞数据大小或模型大小
在不断发展的人工智能和机器学习领域，数据大小还是模型大小在刺激创新方面更重要的问题已成为备受争议的话题。这两个要素都发挥着至关重要的作用，它们的相对重要性因特定项目的背景和目标而异。在这篇博文中，我们将探讨数据大小和模型大小在不同情况下的重要性，并讨论它们在推动创新方面的作用。
2024-07-12 00:00:00
934
原创 旷野之间7 - 从产品工程师到全栈工程师
产品工程师是一个专门负责提供有价值的、以客户为中心的软件产品的角色。他们对产品领域和用户需求有着深刻的理解，因此能够设计出与用户期望无缝契合的解决方案。虽然这两个角色在提供软件解决方案方面都发挥着至关重要的作用，但我的博客旨在阐明为什么产品工程师的角色优于全栈工程师。另一方面，全栈工程师精通前端和后端开发。随着以产品为中心的组织在 AI 驱动解决方案的变革格局中前行，产品工程师的角色成为一项战略要务。这些专业人员提供超越单纯代码编写的整体方法，包括设计、战略思维、跨职能协作和以用户为中心的高度关注。
2024-07-12 00:00:00
562
原创 旷野之间14 - 常见的AI面试题解答
大型语言模型 (LLM)，例如 GPT-3 或 BERT，是具有理解和生成类似人类的文本能力的高级机器学习模型。核心组件和操作：用于 GPT-3（单向）和 BERT（双向）等模型。利用具有多头自注意机制的 transformer 块来理解上下文。将文本分割成标记并通过预定义的词汇进行管理。标记的高维数字表示。连接句子内的不同标记以便更好地理解上下文。训练机制：模型从大型数据集中学习文本结构。调整特定任务的参数。通过特定的问题或命令来指导模型。使模型保持最新的数据趋势。
2024-07-11 10:19:25
1111
原创 旷野之间13 - Transformer深度分析
Transformer 架构由研究员 Ashish Vaswani 于 2017 年在 Google Brain 工作时引入。生成式预训练 Transformer (GPT) 由 OpenAI 于 2018 年引入。主要区别在于 GPT 的架构中不包含编码器堆栈。当直接将一个序列转换为另一个序列时，编码器-解码器组合非常有用。GPT 的设计重点是生成能力，它取消了解码器，同时保持其余组件的相似性。GPT 模型是在大量文本语料库上进行预训练的，无需监督，可以学习所有单词和标记之间的关系⁵。
2024-07-11 10:12:17
462
原创 旷野之间12 - 内容创作用的最佳大模型评测
这是我手头上最重要的任务之一，结果如下：GPT 分数：我的分数：我对 Claude 模型生成的摘要质量感到惊讶。Claude Sonnet 和我也尝试过 Claude 3 Opus（他们最好的模型，但非常昂贵），Opus 的摘要结构严谨、注重细节，并尽可能地抓住了文档的精髓。经过微调后，这些模型的表现绝对非常好。获胜者：Gemini 1.5 Pro 和 Claude 3 Sonnet。
2024-07-11 10:04:48
867
原创 旷野之间11 - 开源 SORA 已问世！训练您自己的 SORA 模型！
目前最接近 SORA 的开源模型是 Latte，它采用了与 SORA 相同的 Vision Transformer 架构。Vision Transformer 究竟有何独特之处？它与之前的方法有何不同？Latte 尚未开源其文本转视频训练代码。我们复制了论文中的文本转视频训练代码，并将其提供给任何人使用，以训练他们自己的 SORA 替代模型。我们自己的训练效果如何？详细信息将在下面讨论。
2024-07-11 09:59:36
314
原创 旷野之间9 - 如何判断是AI编写的文章
人工智能生成的内容通常只是对主题的概括，而不是任何有实质内容的内容。除了您自己的感觉之外，您还会得到相当好的指示，表明该帖子是由机器而不是人撰写的。但这些过于戏剧化和华丽的句子很好地表明，这篇文章不仅是由人工智能撰写的，而且还是出自一个对写作一无所知的人之手。如果你想让人工智能为你工作，就必须给人工智能正确的提示。那是一个寒风凛冽的夜晚，一声巨响将他惊醒，还是说他还在沉睡，这一切都只是一场梦？
2024-07-11 09:51:18
494
原创 14-63 剑和诗人37 - 分布式系统中的数据访问设计
每个服务都有数据库共享数据库每个区域的数据库CQRS 和事件源Saga 模式API 组成缓存物化视图复制联邦多语言持久性多数据中心复制这些模式有助于构建数据库拓扑、有效缓存、同步更改、处理故障和扩展数据访问。让我们更详细地了解每种模式。
2024-07-11 06:00:00
629
微软2023年度新未来工作报告
2024-07-10
XDataverse是一款通用的数据库管理工具，主要管理关系型数据库
2022-10-26
SerialPort串口调试工具
2020-02-05
SqlCeViewer0409
2009-10-27
Sql Ce Viewer_WPF
2008-02-14
SQL CE Viewer
2007-10-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人