- 博客(66)
- 收藏
- 关注
RSS订阅
原创 心动小站Ⅲ--高薪科技工作的时代已经结束
然而，随着越来越多的人加入争夺这辆车的行列，你的独特性逐渐消失。这些学位中的大多数都教授过时的信息。——我们在技术领域达到了局部最大值，就业行业的基础设施非常完善，你可以轻松地在街上雇佣一名程序员，或者简单地使用 ChatGPT 来完成工作。如果他们找到比你（AI）更好的人，他们就会取代你。科技产业将经历劳动力的减少，类似于农业的转变，从需要 97% 人口的自给性农业转变为仅需 2% 人口进行工业加工。你正在做着一个自动机的工作，而任何 AI 或 ChatGPT，无论下一个事物是什么，都很快就会取代它。
2024-07-23 14:55:04
719
原创 心动小站Ⅳ--实施RAG失败
意图识别和上下文对齐方面的这些进步表明了有希望的研究途径，可以极大地提高 LLM 在各个领域的知识密集型问答任务中的表现。基于此分析，该研究提出了 Mindful-RAG，一个专注于基于意图和上下文一致的知识检索的框架。该方法采用一种战略混合方法，将模型的内在参数知识与来自知识图谱（KG）的非参数外部知识相结合。研究发现，这些错误主要源于对问题意图的理解不足，因此从知识图谱事实中提取的上下文不足。研究指出，将基于向量的搜索技术与基于KG的子图检索相结合，有可能显著提高性能。导致错误反应的八个失误点。
2024-07-23 14:52:48
400
原创 心动小站Ⅱ--使用 LLM 将复杂想法可视化
在本系列中，我将记录我的旅程，包括探索一些现有的工具、使新工具易于使用以及分享我的经验。我创建的概念图不是我想要的那种，但它确实帮助我将复杂的主题形象化。我喜欢用它做的事情之一是整合不同思想家的观点和想法，并区分它们以更好地理解它们的细微差别。最重要的是，它创建了强大的图表，对商业沟通和战略制定非常有用。除了使用其他工具进行图表绘制外，我还在开发一种定制工具，以更好地整合和可视化复杂的想法，包括其组成部分之间的详细关系。我倾向于选择一些最适合这个项目的模板，但我选择了一致性和多样性之间的平衡。
2024-07-22 15:36:54
325
原创 心动小站Ⅰ--矢量数据库：塑造 AI 技术的新时代
前言前言随着专家预测的采用率不断提高以及教育资源的引入，矢量数据库将在塑造下一个 AI 技术时代中发挥关键作用。矢量数据库相对于传统数据库的优势越来越明显，使其成为 AI 和机器学习应用不可或缺的工具。向量数据库擅长处理高维数据，这对于许多 AI 应用至关重要。传统数据库难以应对现代 AI 系统生成的数据的复杂性和数量。然而，向量数据库旨在高效存储和查询大规模高维向量。这种能力使它们非常适合图像识别、自然语言处理和推荐系统等数据维度极高的任务。在人工智能和机器学习领域，数据通常以高维空间表示。
2024-07-22 15:30:01
687
原创 世界启动Ⅹ--了解机器学习工程中的挑战和机遇
前言前言图 1：ML 工程工作流程中的常规任务。了解上述内容可以让我们更深入地了解推动 ML 工程成功的因素。一旦我们了解了这一点，我们就可以了解如何应对目前困扰各地 ML 工程师的以下挑战 -这包括数据泄漏；Jupyter Notebook 使用理念不同；以及非标准化代码质量——所有这些都会导致生产中出现意想不到的错误。最后，作者讨论了 MLOps 工具的总体情况。如果您是 MLOps 工具构建者，请了解这些层，并寻找显著提升其中 3V 的方法。
2024-07-21 15:35:51
872
原创 世界启动Ⅸ--10亿美元一人商业模式
前言我将全力投入一人商业模式。这不应该让你感到惊讶。我一直在写关于个人商业模式的文章。最好的部分是什么？你可以在做全职工作的同时建立个人业务。
2024-07-21 15:19:52
723
原创 世界启动Ⅷ--AI视频制作-方案与创新
——Transformer架构不仅能看得见，而且能听得着Google近期发布了一个专注于视频生成的VideoPoet，能够一站式生成视频、音频、支持更长的视频生成，还对现有视频生成中比较普遍动作一致性提供了很好的解决方案，尤其是大范围 motion 的连贯性。通俗地解释扩散模型的工作方式有点像雕刻家，从一块粗糙的石头（或者在我们的例子中是一张模糊、无序的图像）开始，逐渐细化和调整，直到形成一个精细的雕塑（即清晰、有意义的图像）。相比于扩散模型，需要更多的模型参数，对计算资源和数据集的需求相对更高。
2024-07-20 15:34:43
1312
原创 中国传统文化---四艺
琴棋书画，在我国古时被称为“四艺”，是文人骚客（包括一些名门闺秀）修身所必须掌握的技能，常以此来表示个人的文化素养。其中，琴指古琴，代表民族传统音乐；书，指书法，而非书籍；画即绘画，特指国画，即水墨丹青。
2024-07-20 15:29:29
240
原创 世界启动Ⅶ--人工智能对生产力、工资和就业的影响
前言前言人工智能将对生产力、工资和就业产生什么影响？在最近的一次麻省理工学院会议在人工智能与工作的未来许多顶尖经济学家谈到了对人工智能会导致就业岗位减少或至少是好就业岗位减少的担忧，并讨论了技术对生产力的影响。总体而言，结论是技术既创造又摧毁了就业，而且值得注意的是，它不太可能导致未来就业岗位数量大幅减少，西北大学的罗伯特·戈登和乔尔·莫基尔都为这场辩论提供了历史背景。
2024-07-19 15:44:20
552
原创 世界启动Ⅵ--AI是否对人类构成生存威胁
1881 年 3 月 11 日，一群人破坏了英国诺丁汉附近的纺织机械。这场运动发展壮大，蔓延到全国，人们攻击工厂，砸毁机器。数千名士兵被派去保护工厂，并通过了禁止和惩罚破坏机器的立法。这一运动被称为卢德派，尽管他们确实砸毁了机器，但他们的不满并非针对技术进步，而是针对低工资和经济困难。卢德派并不是一场寻求保留前工业革命生活方式的浪漫运动。相反，许多人都是熟练的机器操作员。英国因参与拿破仑战争而陷入经济危机，就业条件极其恶劣。因此，卢德分子只攻击那些为了获取更高利润而破坏标准就业惯例的工厂。
2024-07-19 15:32:06
1086
原创 世界启动Ⅴ--为什么AI永远不会有意识？
虽然创造通用技术（GPT）的科学家并不理解它们如何进行“推理”，或展示出新兴能力，但真正的危险在于，当他们将自己创造、改进和使用的系统拟人化时。AGI 是人工智能的圣杯，堪比基督的再临，是一种在所有认知任务上都胜过人类的神一样的人工智能。他想让统治者在棋盘的第一个方格上放一粒米，在下一个方格上放两粒米，然后在下一个方格上再放两粒米，直到棋盘上的所有 64 个方格都被铺满。相信数字很重要的人工智能科学家会认为，他的计算机如果具备更高的精密度和复杂性，就能实现意识飞跃。管道是电路，水是电流。
2024-07-18 15:38:26
936
原创 世界启动Ⅳ--利用AI和费曼技巧学习一切
前言前言有无数的学习技巧可以帮助你消化复杂的概念，并有信心记住它们。如果你像我一样是一个不断学习的学生，你就会明白的重要性。其中最简单的一种就是。在本文中，我将解释如何有效地应用费曼学习方法，以及如何使用来填补你的知识空白。最后，您将能够使用 ChatGPT 分解复杂的概念，并通过直观、轻松地掌握它们！什么是费曼技巧？理查德·费曼是美国理论物理学家。作为曼哈顿计划的一部分，他在二战期间的原子弹研发中发挥了至关重要的作用。1965 年，他因在量子电动力学方面的工作获得了物理学奖。
2024-07-18 15:33:37
744
原创 世界启动Ⅲ--什么是 Transformer？
注意力加权是一种技术，通过该技术，模型可以了解需要关注传入序列的哪一部分。可以将其想象成“索伦之眼”，随时扫描所有内容，并聚焦于相关部分。有趣的是：显然，研究人员几乎将 Transformer 模型命名为“Attention-Net”，因为 Attention 是其中至关重要的一部分。FFN 是什么？在 transformers 的背景下，FFN 本质上是一个作用于一批独立数据向量的常规多层感知器。结合注意力，它产生正确的“位置-维度”组合。Attention 和 FFN 如何工作？
2024-07-17 16:04:22
670
原创 世界启动Ⅱ--LLM的隐私问题
前言前言本文的目的是关注大语言模型 (LLM)以帮助您决定哪种途径最适合您。在处理传统软件时，隐私问题通常围绕数据存储、传输和访问控制。我们实施加密、设置安全数据库并谨慎管理用户权限。然而，当您想要获得最佳结果而又无法在本地自行完成时，LLM 的世界会为隐私考虑带来新的复杂性。顺便说一句，我们说的不是 ChatGPT。ChatGPT 是一个功能强大的界面，而不仅仅是 LLM。它不用于构建产品或工具。这里，我们谈论的是通过 API 用来构建用户想要的强大产品和聊天机器人的 LLM。
2024-07-17 15:53:32
846
原创 世界启动Ⅰ--6个让你惊叹的开源项目
GitHub 上有数百万个开源项目，但其中一些项目非常令人惊叹，会让你大吃一惊。最好的事情是，他们的代码将免费提供，这意味着您可以根据自己的喜好轻松访问和修改它们，无论您要创建一个新的附带项目还是新的创业公司，此列表都将帮助您找到最好的项目。
2024-07-16 14:59:30
465
原创 王牌站士Ⅸ--GenAI 战略和投资回报率
专注于一致的业务目标。明确定义您希望通过 GenAI 实现的目标。无论是通过自动交互增强客户支持，还是通过预测实验结果加速研发，您的目标都应该直接解决关键挑战或机遇。专注于定义公司的投资回报率以及可用于衡量投资回报率的内部指标。制定具体、可衡量的 KPI，例如降低运营成本、 增加销售转化率、 提高客户满意度分数或 加快新产品的上市时间。这些应该与财务回报提供明确的联系。一些投资回报率重点领域示例客户支持。实施 GenAI 驱动的聊天机器人来处理常规查询。
2024-07-15 15:02:40
792
原创 王牌站士Ⅹ---人工智能中的数据隐私：PII 与个人信息
根据我的经验，这通常涉及使用不可逆的哈希值，因为这可以让您保留数据点之间的关系，而这些数据点无法被人类解释，因此建模仍然有效，但无法通过数据追溯到不同的人。例如，如果你有一个数据集，其中包含 1000 个人的数据，包括性别和邮政编码，那么除非还包含更多数据，这些数据可以合并缩小到特定个人，否则这不是个人数据。如果你有关于个人的几行数据，其中只包含性别而没有其他信息，这可能不是一个风险，但大多数时候，当我们进行数据工作时，我们会查看多个特征，如果它们加起来可以识别出一个不同的个体，那么你手中就有个人信息了。
2024-07-15 15:00:18
679
原创 王牌站士Ⅷ--GenAI 为 AI 集成商带来的成熟度
GenAI 成熟度模型提供了一个框架，用于了解生成式 AI 解决方案的进展和复杂程度。通过将其与 AI 集成器的五个层次（生成式 U/X、超个性化、AI 数据融合、Agentic AI 业务流程自动化和战略建议）相结合，组织可以规划出一条清晰的路径，通过先进的 AI 功能实现其业务目标。
2024-07-14 16:42:44
880
原创 王牌站士Ⅶ--理解大型语言模型LLM的参数
较小的模型对环境的影响要小得多。平均而言，较大的模型往往能够区分这种语义区别，但是，使用较低质量训练数据的较大模型不一定会胜过较小且更集中的模型。在训练大型语言模型时，参数是 LLM 的特征，可以进行调整以优化模型预测序列中下一个 token 的能力。诚然，LLM 的参数越多，它就可以调整越多的“设置”来捕捉人类语言的复杂性，从而比参数较少的模型更好地处理人类语言。因此，在其他条件相同的情况下，如果模型 A 和模型 B 仅在处理和生成语言的能力上有所不同，那么你当然应该选择语言处理能力更出色的模型。
2024-07-14 16:37:32
805
原创 王牌站士Ⅵ--人工智能集成商的崛起
GenAI 模型（如 Google 的 Gemini 1.5 Pro）可以动态创建个性化的布局、内容和交互，根据个人用户的需求和偏好定制界面。企业被来自不同来源的数据淹没。GenAI 可以从非结构化数据（如文本、图像和视频）中提取见解，丰富现有的结构化数据，并创建知识图谱以有意义的方式连接信息。超个性化超越了基本的细分。通过综合所有先前层的见解，GenAI 可以根据用户或企业的独特背景、目标和限制，为他们推荐下一步最佳行动。，彻底改变企业的运营方式和与技术的互动方式，当然，还可以保留长期价值。
2024-07-13 17:45:23
704
原创 王牌站士Ⅴ--mysql9.0发布向量类型糊弄了事
前言前言MySQL在本月发布了9.0大版本，作为一个老用户，忍不住关注了一下，简单说下这次更新。2023年，AI爆火，带动了向量数据库赛道。当下几乎所有主流 DBMS 都已经提供向量数据类型支持 ——。大家原本期待着在 9.0 创新版，向量支持能弥补一些缺憾，结果发布后等到的只有震撼 ——在 MySQL 9.0 的官方文档上，只有三个关于向量类型的函数。抛开与字符串互转的两个，真正的功能函数就一个 VECTOR_DIM：返回向量的维度！（计算数组长度）
2024-07-13 17:40:24
355
原创 王牌站士Ⅳ--矢量数据库对 RAG 效率的影响
近年来，检索增强生成 (RAG) 模型越来越受欢迎。RAG 模型利用大型神经网络以及外部知识源的检索机制。这使得模型拥有的知识比其内部存储的更多，从而使其能够为广泛的主题和领域生成高质量的输出。影响 RAG 模型性能的关键因素之一是从外部源检索相关知识的效率。与优化程度较低的存储和检索技术相比，使用向量数据库进行检索可以显著提高效率。让我们探讨在 RAG 模型中使用向量数据库进行知识检索的好处。
2024-07-12 15:54:59
1246
原创 王牌站士Ⅲ--监控 LLM 行为的方法
例如，在大量互联网数据上训练的模型可能会拾取有害的、种族主义的、性别歧视的言论。如果不加以控制，这些模型可能会传播错误信息或通过辱骂性的、有害的反应造成现实世界的伤害。这可能意味着尝试更大的模型大小、不同的训练数据或代码更改。能够大规模生成听起来像人类的文本的模型可能会被用于大规模的虚假信息宣传、内容农场垃圾邮件、政治虚假宣传等。目前，这些模型的创建者和运营者有责任通过全面、透明和警惕的监督，坚持道德约束，以应对无数潜在问题。随着模型的更新，自动化测试有助于通过持续的回归监控来发现新出现的问题。
2024-07-12 15:51:12
695
原创 王牌站士Ⅱ--针对 LLM/SLM 的高级 RAG
检索增强生成 (RAG) 已成为一种增强语言模型能力的强大技术。通过检索和调整外部知识，RAG 可让模型生成更准确、更相关、更全面的文本。
2024-07-12 15:46:55
859
原创 王牌站士Ⅰ--闪存中的LLM
近年来，大型语言模型 (LLM) 已成为人工智能领域研究和开发的热门领域。GPT-3 等模型已经展示了生成类似人类的文本并进行令人惊讶的令人信服的对话的能力。然而，这些先进的功能伴随着巨大的计算成本。GPT-4、LlaMA-2、PaLM-2、Claude-2 等 LLM 需要数十亿个参数和数千亿次浮点运算才能运行。存储和运行这些庞大的模型需要巨大的计算资源。如今，大多数 LLM 都在数据中心昂贵的 GPU 或 TPU 硬件上运行，以获得足够的速度。
2024-07-10 14:56:54
765
原创 绝区玖--人工智能物料清单 (AI BOM)
从基础数据层到模型训练的复杂性，从部署策略到扩展基础设施，每个元素在人工智能生命周期中都发挥着至关重要的作用。端到端 AI 堆栈：包括数据、模型开发、基础设施、部署和监控层。训练过程：详细说明数据准备、模型选择、超参数调整和优化策略。大规模推理：涵盖优化技术、硬件加速和部署注意事项。微调策略：探索迁移学习、特定领域的适应性和持续学习方法。大规模 ML 基础设施：解决可扩展性、资源管理、成本优化和 MLOps 实践。知识共享与协作：强调文档、工具和社区参与的重要性。
2024-07-10 14:44:18
1188
原创 绝区捌--将GPT幻觉的发生率从20%以上降低到2%以下
最后一条可能有用的提示是将内容包装在 <Content></Content> 标签中。这有助于 GPT 理解不同来源之间的差异，甚至返回稍后可以str.replace()使用链接的占位符（例如 Content1）。您还可以对注入提示的任何其他数据执行此操作。总体而言，我们发现，结合使用提示链、预处理和后处理可以很好地降低幻觉风险并提高 GPT 的准确性。缺点是它需要更多的 API 调用，但随着最近价格下降 90%，这现在非常可行。欢迎你分享你的作品到我们的平台上：www.shxcj.com。
2024-07-09 14:40:46
585
原创 绝区柒--LLM简史
大型语言模型 (LLM) 在过去几年中一直是机器学习讨论的焦点，并在未来几年改变了人工智能的格局。本文是“从头开始构建 LLM”系列的序幕，该系列是理解和构建 LLM 的完整指南。假设您缺乏背景知识，本文旨在通过图表、动画、Python 代码和底层数学知识，从头开始直观地了解这些模型的工作原理。API 和在线用户界面使与 LLM 的交互变得像输入提示一样简单，但真正理解这些复杂模型的内部工作原理需要更仔细的检查。
2024-07-09 14:36:21
472
原创 绝区陆--大语言模型的幻觉问题是如何推动科学创新
大型语言模型 (LLM)（例如 GPT-4、LLaMA-2、PaLM-2、Claude-2 等）已展示出为各种应用生成类似人类文本的出色能力。然而，LLM 的一个鲜为人知的方面是它们倾向于“产生幻觉”或生成不正确或没有根据的事实陈述。我不认为这仅仅是一个限制，我认为，如果得到正确引导，LLM 幻觉实际上可以帮助激发新的科学发现和编码创新。让我来解释一下大语言模型幻觉的自由特性如何让他们能够建立人类大脑可能无法建立的横向联系。研究人员开始向大语言模型提出科学难题和问题，看看他们能想出什么非常规的解决方案。
2024-07-08 16:11:45
1008
原创 绝区伍--2024年AI发展路线图
2024 年将是人工智能具有里程碑意义的一年。随着新模式、融资轮次和进步以惊人的速度出现，很难跟上人工智能世界发生的一切。让我们深入了解 2024 年可能定义人工智能的关键事件、产品发布、研究突破和趋势。
2024-07-08 16:07:16
1346
原创 绝区肆--2024 年AI安全状况
随着人工智能系统变得越来越强大和普及，与之相关的安全问题也越来越多。让我们来看看 2024 年人工智能安全的现状——评估威胁、分析漏洞、审查有前景的防御策略，并推测这一关键领域的未来可能如何。
2024-07-07 17:22:02
909
4
原创 绝区叁--如何在移动设备上本地运行LLM
更困难的是，由于我们的移动设备几乎一直伴随着我们，隐私也是一个更大的问题。这些模型早已集成到我们的手机中，但到目前为止，它们理解和处理请求的能力还非常有限。然而，这些新型LLM人工智能模型可以理解和生成类似人类的文本，使它们成为增强语音助手、聊天机器人和其他自然语言处理任务等应用程序的理想选择。就此而言，让我们开始吧。在演示中，我们使用了搭载骁龙 芯片的手机。在本文中，我们将探讨如何在 Android 设备上运行小型轻量级模型，例如 Gemma-2B、Phi-2 和 StableLM-3B。
2024-07-06 23:06:51
1119
2
原创 绝区贰--及时优化降低 LLM 成本和延迟
大型语言模型 (LLM) 为各行各业带来了变革性功能，让用户能够利用尖端的自然语言处理技术处理各种应用。然而，这些强大的 AI 系统的便利性是有代价的 — 确实如此。随着 LLM 变得越来越普及，其计算成本和延迟可能会迅速增加，从而给预算带来压力并影响性能。但是，如果您能够实现类似的结果，同时减少 LLM 支出和延迟，情况会怎样？解决方案在于简化您的提示，即指导语言模型的文本输入。通过优化标记使用并制作简洁而有效的提示，我们可以在不影响准确性的情况下最大限度地提高效率。
2024-07-06 23:02:23
1108
原创 绝区壹--LLM的构建模块
语言是人类交流的本质，大型语言模型 (LLM) 凭借其出色的理解和生成类似人类的文本的能力，彻底改变了我们与语言互动和利用语言的方式。深入研究 LLM 的构建块（向量、标记和嵌入），揭示了使这些模型能够以前所未有的复杂程度处理语言的复杂机制。LLM 是变革性的 AI 系统，彻底改变了 NLP 领域。这些模型能够以非凡的流畅性和连贯性理解、生成和处理类似人类的文本。LLM 的核心是实现其卓越性能的基本构建块：向量、标记和嵌入。
2024-07-06 22:43:08
691
原创 人工智能开发中的数据隐私
人工智能开发中的数据隐私对于建立用户信任和遵守严格法规至关重要。保护敏感信息可确保合乎道德的人工智能使用并防止有害的数据泄露。
2024-07-05 16:21:24
999
原创 针对 LLM 应用程序优化 RAG
大型语言模型 (LLM)（如 GPT-4）在生成类似人类的文本方面表现出了令人印象深刻的能力。然而，在保留事实知识方面，它们仍然面临挑战。这就是检索增强生成 (RAG) 的作用所在——将 LLM 的生成能力与外部知识源相结合。RAG 已成为一种有前途的技术，可在保持 LLM 流畅性的同时提高其事实基础。
2024-07-05 16:16:21
865
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人