- 博客(426)
- 收藏
- 关注
RSS订阅原创 MindsDB：一个利用企业数据构建 AI 的平台
MindsDB 的核心理念是使数据库不仅能够存储和检索数据，还能基于这些数据进行智能预测。它是一个透明的层，可以嵌入到任何SQL数据库（如MySQL, PostgreSQL等）之上，使得即使没有深度学习背景的开发人员也能利用其强大的预测功能。MindsDB可直接在数据库中进行建模，省去了数据处理、搭建机器学习模型等头疼的步骤，可以说是一步到位。
2024-07-21 10:45:00
600
原创 AI 语言大模型关键技术 深度讲解 2024
语言大模型技术主要包括模型预训练、适配微调、提示学习、知识增强和工具学习等。支撑语言大模型高效训练的技术主要包括高性能训练工具、高效预训练策略、高质量训练数据、高效的模型架构等。高效预训练策略。其主要思路是采用不同的策略以更低成本实现对语言大模型的预训练。第一种是在预训练中设计高效的优化任务目标，使得可以使得模型能够利用每个样本更多的监督信息，从而实现模型训练的加速。第二种是热启动策略，在训练开始时线性地提高学习率，以解决在预训练中单纯增加批处理大小可能会导致优化困难问题。。
2024-07-19 19:51:51
295
原创 AI 大模型 Transformer 架构技术白皮书 2024
1. 大模型技术概述1.1 大模型技术的发展历程2006 年 Geoffrey Hinton 提出通过逐层无监督预训练的方式来缓解由于梯度消失而导致的深层网络难以训练的问题，为神经网络的有效学习提供了重要的优化途径。此后，深度学习在计算机视觉、语音、自然语言处理等众多领域取得了突破性的研究进展，开启了新一轮深度学习的发展浪潮。
2024-07-18 21:55:12
765
原创 优雅谈大模型：白话向量数据库
向量数据库代表了一种现代数据存储方法，其中信息被保存为高维向量，也就是通过Embedding Model进行数据特征或属性捕获后的数学表达方式。这些向量可以跨越数十到数千个维度，具体取决于每个应用对于数据的粒度要求。向量数据库支持文本、图像、音频或视频等原始数据，这些原始数据都会采用[Embedding Model]进行数据处理。当然[Embedding Model]的技术是多样化的，可以是机器学习模型、词嵌入和特征提取算法。
2024-07-17 20:42:31
886
原创 AI智能体：我用智普清言打造了一个私有AI知识库，完美实现功能
我们无论用chatGPT还是kimi，回答的问题都是已有的知识库，也就是学习过后的知识库来进行回答的。如果该文档没有被学习过。那么AI也无从回答。这类文档还蛮多。很多公司都有自己的专属文档，比如员工信息，内部资料等。这些资料对于公司内部管理还是很有用处的。因此公司内部自己搭建一个私有的AI知识库是很方便内部使用搭建私有AI知识库最通用的方法是用Llama3来本地搭建一个，但是比较复杂，对IT不熟悉的人搭建起来比较麻烦正好看到智普清言上的智能体有这个功能。因此来试下智普清言的功能如何。
2024-07-17 20:22:06
1031
原创 LLM模型之高质量数据选择和微调方法
Entropy Law：多数据集组合时的数据筛选方法数据是大型语言模型(LLM)的基石。大多数方法侧重于评价单个样本的质量，而忽略了样本间的组合效应。受LLMS信息压缩特性的启发，我们发现了一个将LLM性能与数据压缩比和第一个epoch训练损失联系起来的“熵定律”，它们分别反映了数据集的信息冗余度和对该数据集中编码的固有知识的掌握。基于熵定律的结果，我们提出了一种非常有效和通用的数据选择方法ZIP来训练LLMS，该方法旨在对压缩比较低的数据子集进行优先排序。
2024-07-17 19:57:20
545
原创 一文彻底搞懂Transformer - Training（模型训练）
*WMT 2014英德和英法数据集在用于训练Transformer模型之前，需要进行一系列的数据预处理步骤。**下载数据集：首先，从WMT官方网站或相关资源中下载WMT 2014英德和英法数据集。这些数据集通常包括训练集、验证集和测试集。解压数据集：将下载的数据集文件（如.tgz或.tar格式）解压到指定的目录中，以便进行后续处理。去除无关信息：从文本中去除HTML标签、特殊字符、URL链接等与翻译任务无关的信息。
2024-07-16 20:59:04
516
原创 5分钟带你用PyTorch和TensorFlow实现神经网络
之前我们讨论过用于预测冰淇淋收入的简单神经网络，现在让我们使用TensorFlow和PyTorch这两个强大的神经网络构建工具来实现它。而且TensorFlow只需要27行代码，就能在5分钟内完成这一任务！首先，让我们从了解TensorFlow开始：TensorFlow是一个包含工具、库和社区资源的全面生态系统，用于构建和部署机器学习应用。它由谷歌开发，是一个灵活又高效的工具，能够在从CPU到GPU，甚至包括TPU等专用硬件在内的各种平台上运行。
2024-07-15 21:19:30
796
原创 关于企业级人工智能应用常用架构，如果老板让你负责牵头引入人工智能技术，你知道该怎么做吗？
在当前人工智能爆火的时代，人工智能走进了越来越多的企业，很多企业都在业务中引入人工智能技术。但在一些没接触或刚接触人工智能的技术人员来说，领导突然要引入人工智能技术时，并且让拿出一个技术方案来，这时很多人都会不知所措，无从下手。今天就来讨论一下企业级人工智能解决方案应该是什么样的。。
2024-07-13 20:38:25
876
原创 深度｜AI Agent 开源和创业项目大盘点，Agent 基础设施正在崛起
当每个人都在寻找黄金时，正是卖镐和铲子的好时机。AI 崛起，能够自主规划并执行多个步骤的 Agents，正成为用户的接口，也成为开发者的核心着力点。近期美国风投 Madrona 合伙人 John Turow 发表了一篇行业洞察《》，分享了 agent 领域的观察和思考，他谈到尽管当前 Agent 存在明显局限，但丝毫不影响 Agent 激增的势头，并推动着新的基础设施不断发展。Agent 领域的研究进展可观，在一些技术细节上有了初步共识。
2024-07-12 21:07:32
983
原创 面向 RAG 的未来：深入探索微软 GraphRAG 技术
GraphRAG 是对传统 RAG 的进化。它解决了传统 RAG 系统的关键局限。传统 RAG 依赖向量相似性搜索。GraphRAG 走得更远。它将整个数据集构建成丰富、结构化的知识图谱。GraphRAG 的核心是其 LLM 生成的知识图谱。首先，实体和关系提取。大语言模型处理整个数据集。它在自定义提示的指导下提取实体和关系。这些构成了图结构的基础。接下来是图构建。实体成为节点。关系形成边。像 NetworkX 这样的图库可能会创建这个基础结构。然后，社区检测算法开始工作。
2024-07-12 20:41:11
991
原创 如何成为提示词工程师？
提示词工程是一种需求量大、回报丰厚的职业，需要最少的编码经验。今天聊聊最近很火的一个话题：提示词工程师(prompts engineer )。
2024-07-12 19:53:56
1011
原创 AI大模型200个变现场景
这里的大模型以ChatGPT为例，只为拓展思路。1.为企业客户提供自然语言处理和文本生成服务2.将ChatGPT用于人工客服，解决客户的问题和提供帮助3.开发聊天机器人应用程序，将ChatGPT用于自动化聊天功能4.利用ChatGPT生成创意广告和标语为客户提供广告创意服务5.为内容营销提供服务，将ChatGPT用于生成博客文章、社交媒体帖子等6.为客户提供内容汇编服务，利用ChatGPT生成有关特定主题的文章、新闻等内容。
2024-07-11 17:40:21
658
原创 AI文本处理的突破：从One-Hot到Embedding模型
文本向量化是将文本数据转换为数值向量的过程。这种转换使得计算机能够理解和处理文本数据，从而可以应用各种机器学习和自然语言处理技术。文本向量化的主要问题是将非结构化的文本数据转换为结构化的向量表示，以便计算机能够对其进行处理和分析。通过文本向量化，可以实现文本分类、文本聚类、信息检索等任务。在大模型时代下，文本向量化的技术发展到了embedding阶段。Embedding是一种将高维的文本数据映射到低维空间的技术，它能够捕捉到文本数据中的语义信息，并将其表示为稠密向量。
2024-07-10 20:48:50
754
原创 当 AI 遇上爬虫：让数据提取变得前所未有地简单！
你是否曾想过，如果有一个工具，能够理解你的意图并自动执行复杂的网络数据抓取任务，那会怎样？ScrapeGraphAI[1] 就是这样一个工具，它利用最新的人工智能技术，让数据提取变得前所未有地简单。是一个用于网络抓取 Python 库，它使用大语言模型（LLM）和直接图为网站、文档和 XML 文件创建抓取管道。只需说出您想要提取哪些信息，它就会为您完成！
2024-07-10 20:33:34
661
原创 关于人工智能创业的思考，以及遇到的问题
之所以产生创业的想法，主要是因为这几年大环境变差，失业裁员成了常态；而个人也经历过一波裁员，因此也感觉到了打工人的无奈。而失业在家的时间，刚开始也是焦虑找不着工作，但过了一段时间之后，发现不上班也没啥。因为没有房贷车贷老婆孩子的压力，再加上没有工作的烦恼，因此自己就有了大把的时间去挥霍。而这时不知不觉中就开始思考之前的学习，工作和生活；而又加上自己有看书的爱好，因此就趁这个时间看了很多工作之外的书，比如说哲学，经济，财政，市场，产品等。
2024-07-10 20:18:22
667
原创 当浏览器与大模型打通：Brave + Ollama
所有软件都应该跟AI打通。比如我们最常用的浏览器。当你上网冲浪，突然想问些什么或者想生成点什么，这时还要特意打开个网页（比如ChatGPT），或者切换到别的APP（比如Obsidian），这就特别麻烦、有点不爽。于是，Brave浏览器就来了。这款产品存在应该有好几年了。免广告之类的常规功能就不说了，它最吸引我的点在于，可以跟本地大模型打通，比如在自己的电脑上运行千问之类的，然后去实现我刚才说的那些场景功能。大家想尝试的话，记得下载Nightly版本。这是测试版本，每晚更新。下载好了一路安装。
2024-07-09 20:50:46
1056
原创 论文解读 | 杨宗凯教授：利用人工智能赋能教与学
随着人工智能（AI）技术的快速发展，教育领域正经历着前所未有的变革。AI 技术可以优化教学过程，提高教学效率。但它也带来了新的挑战，例如如何确保教育公平、如何保护学生隐私等。因此，如何利用AI技术赋能教学与学习，成为当前教育改革的重要课题。来自武汉理工大学的杨宗凯教授在《数字教育前沿（英文）》（）期刊上发表了一篇文章，探讨了 AI 技术在教育领域的应用前景和发展趋势，为构建更加智能、高效和个性化的教育生态系统提供了重要的理论和实践指导。
2024-07-09 20:28:26
729
原创 LangChain记忆（Memory）全解析：让你的应用更懂用户
ConversationSummaryBufferMemory不仅保留最近的交互缓冲区，还将旧的交互编译成摘要，以便继续使用。它通过token长度而不是交互次数来决定何时清除交互。def summary_memory_test():` `"""` `使用ConversationSummaryBufferMemory测试对话流程，` `这个内存模型会摘要存储对话历史，且限定存储的token数量。
2024-07-09 20:08:41
1061
原创 取代前、后端岗，中国又一新兴岗位在崛起！这才是程序员未来5年最好的就业方向！
随着GPT大热“AI大模型”无疑是最火爆的话题！等巨头互联网公司，无不在布局人工智能技术和市场，作为普通程序员，利用AI提升代码质量和效率，打造核心竞争力做出更优质的界面和交互方式，提升业务水平和盈利能力增强创新思维，发现新的应用场景和变现机会卷赢上下游，做负责人，岗位晋升好几个Level……那这些资料你一定要看完！
2024-07-08 21:45:42
759
原创 RePrompt：利用“梯度下降”优化Agent指令
大型语言模型（LLMs）自 ChatGPT 发布以来取得了显著的成功。除了传统的自然语言任务，如总结和情感分析外，LLMs 在许多更接近应用的领域，如代码生成、人机交互和数学问题解决中也显示出有效性。尽管纯 LLMs 在推理能力上有限，研究人员已经将工具使用引入 LLMs 并构建了集成系统，即 LLM Agent，以实现在更通用领域如机器人控制和自动驾驶中使用 LLM 的可能性。在所有这些成功背后，提示词扮演着重要角色。
2024-07-08 21:31:04
607
原创 零代码本地搭建AI大模型，详细教程！普通电脑也能流畅运行，中文回答速度快，回答质量高
这篇教程主要解决：1). 有些读者朋友，，比如电脑没有配置GPU显卡，还想在本地使用AI；2). Llama3回答中文问题欠佳，更强的AI大模型。3). 想成为AI开发者，开发一款AI大模型的应用和产品，如何选择API的问题。我相信，大家平时主要还是以中文问答为主，安装一个中文回答更强的AI，就显得更很有必要。这篇教程。1 通义千问大模型的优势近日阿里云正式发布通义千问2.5，模型性能全面赶超GPT-4 Turbo，成为。
2024-07-08 21:07:39
755
原创 大语言模型策略推理技术综述：定义、场景、方法、评估、讨论
1 引言大型语言模型（LLMs）开启了人工智能的新时代，特别是在执行推理任务方面展现出潜力，包括常识问答和数学问题等。策略推理代表了一种独特的推理艺术。通常，它涉及在多智能体环境中合理选择最佳行动策略，考虑到其他人可能的行为以及自己的决策将如何影响他们的选择。大型语言模型进行策略推理的必要性超出了学术好奇心；它是理解和导航物理和社会世界的复杂性所不可或缺的。人类智能不仅预测物理和社会环境中行为的结果，还基于这些预测调整策略。
2024-07-08 20:49:37
889
原创 【LLM-agent】利用混合agent来增强大语言模型能力
论文标题：Mixture-of-Agents Enhances Large Language Model Capabilities论文链接：https://arxiv.org/pdf/2406.04692随着LLMs数量的增加，如何利用多个LLMs的集体专业知识成为一个令人兴奋的开放方向。为此，论文提出了一种新方法，通过混合agent（Mixture-of-Agents， MoA）方法论来利用多个LLMs的集体优势。在论文的方法中，论文构建了一个分层的MoA架构，其中每一层包含多个LLMagent。
2024-07-07 10:45:00
782
原创 Transformer动画讲解 - 工作原理
GPT（Generative Pre-trained Transformer）是一种基于单向Transformer解码器的预训练语言模型，它通过在大规模语料库上的无监督学习来捕捉语言的统计规律，从而具备强大的文本生成能力。。与判别式模型不同，生成式模型试图捕捉数据的分布，并能够生成新的、看似真实的数据样本。，使模型学习到文本中的语言结构和语义信息。。Transformer是一种基于自注意力机制的神经网络架构，包括编码器和解码器两部分。
2024-07-06 10:45:00
1012
原创 私有化、API调用、数据隐私：LangChain全方位解决AI应用痛点
随着人工智能和生成式AI技术的飞速发展，越来越多的开发者和企业开始探索如何将这些技术融入实际应用中。在这个过程中，LangChain 作为一个快速崛起的开源项目，以其独特的模块化设计和强大的功能抽象能力，成为了备受瞩目的焦点。LangChain 是一个近年来迅速崛起的开源项目，专注于提供高效的生成式AI应用开发工具。它的出现旨在解决开发者在使用大型语言模型（LLM）过程中所面临的一系列挑战，通过提供一套易于使用的框架和工具，加速AIGC（人工智能生成内容）应用的开发和部署。
2024-07-04 20:36:22
644
原创 太强了！10大开源大模型！
近期，Meta 隆重推出了两款开源模型：Llama 3 8B与Llama 3 70B，这两款模型可供外部开发者免费使用。Meta 表示，Llama 3 8B和Llama 3 70B在目前同体量模型中，展现出卓越的性能，堪称业界的佼佼者。从Meta 分享的基准测试结果来看，Llama 3 400B+ 的实力不容小觑，其性能已逼近Claude超大杯以及新版GPT-4 Turbo，虽然还存在一定的差距，但足以证明它在顶尖大模型领域已占有一席之地。
2024-07-03 20:55:10
1430
原创 大模型Prompt技巧
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。思维链的主要思想是通过向大语言模型展示一些少量的 exapmles，在样例中解释推理过程，大语言模型在回答提示时也会显示推理过程。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
2024-07-03 20:14:07
354
原创 行业动态 | 2024 中国「+ 大模型」先锋案例 TOP 10 发布
当下，大模型驱动，中国已经成为全球 AI 领域重要的创新热土之一，并将引领一场前所未有的、波澜壮阔的 10 倍生产力革命。从 2022 年底 ChatGPT 横空出世，到 2024 年百万 Token 成本降至 1 元以下。个人的办公效率，正因大模型的应用不断提升，超级个人开始涌现，未来一个人的独角兽公司将成为可能。企业级市场，从营销、客服到研发、生产，大模型都以不同的形式加速着行业的智能化升级。未来，随着 AI 的 IQ+EQ+AQ 的全面提升，大模型还将迅速崛起并引领一场前所未有的产业革命。
2024-07-03 19:52:07
958
原创 讲透一个强大算法模型，Transformer ！！
输入嵌入：将输入文本转化为嵌入向量，加上位置编码。多头注意力机制：计算查询、键和值的注意力，捕捉输入的不同部分。前馈神经网络：通过两个线性变换和ReLU激活处理注意力输出。残差连接和层归一化：保持网络的稳定性和信息流动。编码器和解码器堆叠：多个编码器层和解码器层堆叠形成完整的Transformer模型。这种架构使得Transformer模型在处理自然语言任务时表现出色，能够高效处理长文本并生成高质量的文本输出。
2024-07-02 22:51:48
929
原创 AI大模型测试，都测啥
测试AI大模型是一个多维度和多步骤的过程，涉及多个方面，包括但不限于道德和伦理、偏见性、毒性、诚实性、安全评测等。以下是一些关键的测试方法和考虑因素：1. 道德和伦理评测：评估AI生成内容是否符合社会公认的道德伦理规范。这可以通过基于专家定义的规范、众包方式、AI辅助评测或混合模式进行。2. 偏见性评测：关注AI生成内容是否对某些社会群体产生不利影响或伤害，包括对特定群体的刻板印象或贬低信息。3. 毒性评测：评估AI生成内容中是否含有仇恨、侮辱、淫秽等有害信息，并使用相应的评测基准和工具。
2024-07-02 22:17:37
968
原创 大模型吞了谁？程序员彷徨，产品经理消失
一名失业中的程序员，因为一次大胆的求职之举登上了微博热搜。向瑶函花费999元，在广州地铁珠江新城站购买了一个广告位5天的使用权，用来投放自己的简历二维码，扫码就可以了解这名程序员“飘零的前半生”。向瑶函是在2023年5月“主动失业”的。去年3月15日凌晨GPT-4发布，兴奋之余，他和很多其他程序员隐隐感到不安——面对生成式AI技术的爆发，是当一名旁观者，还是主动拥抱新变化？
2024-07-02 21:58:57
943
原创 AI赋能于教师的价值感增强生成
从教育的结构性和长期性考虑,课程体系是教师最具备价值的,也是教师喜欢天天琢磨的.课程体系中知识、技能、体验的编排、课程体系中复杂的课程标准、条件支持、学生的角色与分组、报表输出、教学质量监察都是极其体现专业性的,在传统的教学过程中教师面对知识点、技能点、学生的管理、课程的管理虽然津津乐道,却也耗费大量实践,是很烦心,AI能够发挥出来这方面的优势,以课程数据为基础的私域知识库为核心,以课程智能体为解决方案,能够让让数据点燃教师教学的兴趣和乐趣,也为教改和教学成果积累素材,正向激励教师的个性化教学.
2024-07-01 11:45:00
647
原创 使用Llama3模型进行关系抽取
前提关系抽取（RE）是从非结构化文本中提取关系以识别各种命名实体之间的联系的任务。它与命名实体识别（NER）一起进行，是自然语言处理流程中的一个重要步骤。随着大型语言模型（LLMs）的兴起，传统涉及标记实体跨度和分类它们之间（如果有的话）关系的监督方法被基于LLM的方法增强或完全取代[1]。Llama3是生成性AI领域最新的主要发布[2]。该基础模型有两种尺寸，8B和70B，预计将很快发布一个400B模型。这些模型可在HuggingFace平台上获取；详情见[3]。
2024-07-01 10:45:00
677
原创 高级RAG技术研究之： Prompt 压缩
LLMLingua认为Selective Context经常忽视压缩内容之间的互连以及 LLM 和用于Prompt压缩的小语言模型之间的相关性。LLMLingua 正是解决了这些问题。具体来说，如图 4 所示，LLMLingua 采用预算控制器为原始提示的各个组成部分（例如指令、演示和问题）动态分配不同的压缩比。它还执行粗粒度、演示级压缩，即使在高压缩比下也能保持语义完整性。此外，LLMLingua 引入了用于细粒度提示压缩的令牌级迭代算法。图 4：所提议方法 LLMLingua 的框架。
2024-06-30 20:08:04
358
原创 工业人工智能AI技术发展与应用
在科技日新月异的今天，人工智能（AI）技术已经成为推动工业发展的重要引擎。本文将深入探讨工业数据的采集、利用、开发，以及专用大模型的应用等方面，详细解析工业AI技术发展与应用的深度融合。传感器数据是工业生产中的重要信息来源，包括设备的运行状态、环境参数等。通过安装各种传感器在生产线上，例如温度传感器、压力传感器、湿度传感器等，我们可以实时监测设备的运行状态，获取第一手的设备运行数据。这些数据不仅可以帮助我们了解设备的运行状况，还可以为我们提供关于生产过程的重要信息。生产数据则包括产品质量、生产效率等信息。
2024-06-29 22:09:54
863
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人