- 博客(614)
- 收藏
- 关注
RSS订阅原创 GRATCR：使用数据高效的预训练模型生成表位特异性TCR序列
TCR在许多靶向肿瘤细胞的免疫疗法中发挥着至关重要的作用。然而，它们的获取和优化带来了重大挑战，涉及费力且耗时的湿实验资源。深度生成模型在功能性蛋白质序列生成方面表现出显著的能力，为增强特异性TCR序列的获取提供了有前途的解决方案。在这里，上海交通大学熊毅研究团队**提出GRATCR，这是一个通过新型“嫁接”策略整合了两个预先训练的模块的框架，以从头生成靶向特定表位的TCR序列。**实验结果表明，与最先进的模型相比，通过使用明显更少的训练数据，。
2024-09-17 10:45:00
512
原创 DsRAG：新开源的高级RAG分块技巧！
今天给大家分享一个新的策略，称为DS-RAG。一个不好的分块，会带来很多的问题，比如说以下几点：代称，他/她等表示响应的主题，刚好被切分在单独的块中，影响召回单个块可能不包含完整的答案块，答案可能包含在连续的几个块中块可能仅在某种特定上下文中才有意义等等。。。解决方案有2种：在每个块添加上下文头，将更高级别的信息补充在文档块开头（例如将文档标题，摘要放在每个块的开头）从块到段 chunk -> segments。
2024-09-16 10:45:00
524
原创 AI人工智能赋能高等教育：揭秘6种颠覆传统教学方式的AI应用案例
随着人工智能（AI）技术的飞速发展，其在高等教育领域的应用也越来越广泛。AI不仅能够提高教育效率，还能够改变传统的教学模式，为学生提供更加个性化和互动的学习体验。以下是六种AI在高等教育中的应用案例，它们正在颠覆传统的教学方式。智能辅导系统（Intelligent Tutoring Systems, ITS）是一种基于AI的教育软件，它能够根据学生的学习进度和能力提供个性化的指导。这种系统通过分析学生的答题情况和学习习惯，为他们推荐适合的学习材料和练习题，从而帮助学生更有效地掌握知识点。
2024-09-15 10:45:00
1528
原创 AI语音大模型架构技术深度分析 2024
图 2.3-1 语音大模型概况随着语音技术的发展，在有标注的训练数据充足的情况下，使用深度神经网络训练语音识别等任务上已经能够取得非常好的性能；但是现实中有标注的训练数据获取的成本很高，在一些低资源的任务场景也很难获取足够多的有标注训练数据。基于此背景，近些年来研究者们致力于从大量没有标签的数据中预先学习有效的语音特征，使模型学习到语音更深层次的特征表达，从而在低资源的下游语音任务中摆脱对训练数据量的依赖，并且获取更好的性能。
2024-09-14 18:03:23
1250
原创 Qwen2_Audio语音大模型来啦！语音内容分析、情绪分析、语言翻译轻松拿捏！手把手带你实操部署让其扮演翻译官、情绪安抚师~
最近阿里基于Qwen2系列陆续开源一系列垂直领域的大模型，例如Qwen2_Math数学大模型[阿里重磅开源Qwen2_Math!实操利用onnxocr+Qwen2_Math打造【AI数学老师助手】来给小孩辅导数学作业!在8月9号，阿里又重磅开源了Qwen2-Audio语音大模型，它能够接受音频和文本输入并生成文本输出。Qwen2-Audio具有以下特点：1.语音聊天：用户可以使用语音向音频-语言模型发出指令，无需自动语音识别（ASR）模块。
2024-09-14 17:05:33
915
原创 认识GraphRAG、理论结合案例剖析
依赖：LLM将提取到的元素实例进一步总结为单一的描述性文本块。虽然在提取过程中可能会出现格式不一致的问题，但通过社区检测和LLM的理解能力，可以确保生成的图结构仍然可靠。此外，使用丰富的描述性文本适应了LLM的能力和全局性查询的需求，使得这种方法与传统的知识图谱不同。输入：["丫鬟是贾府中的人物，她们在贾府中侍候，执行各种家务任务。", "丫鬟是贾府中的女仆，负责传递消息和照顾府中的人。"]`在贾府中，丫鬟们作为女仆，扮演着至关重要的角色。
2024-09-13 20:02:10
826
原创 学会区分大模型——大模型的分类，让你更清晰的认识大模型
现在市面上大模型如百花齐放，对很多人来说一堆大模型带来的不是简单方便，而是乱七八糟以及迷茫。因为不知道不同的大模型之间有什么区别，也不知道自己需要什么样的大模型；就拿huggingface来说，上面的模型有几十万，有几个人能弄明白它们都是干什么的？因此，我们首先需要学会的就是大模型的分类，对大模型分门别类之后就知道哪些大模型是做什么的，自己需要的是什么了。
2024-09-13 19:59:34
1129
原创 超强总结！十大数据预处理技巧 ！！
数据预处理 确保输入数据的质量直接影响模型的性能。。没有良好的数据预处理，即使是最复杂的模型也难以达到理想效果。涉及到的十个数据预处理的方法：数据清洗数据标准化数据编码特征选择特征缩放降维数据拆分数据增强数据平衡数据转换通过理论和案例，详细和大家聊聊~
2024-09-12 20:17:15
1191
原创 微软新推出的开源 Phi 3.5 视觉模型在 OCR/文本提取方面非常出色
微软新推出的开源 Phi 3.5 视觉模型在 OCR/文本提取方面非常出色 — 甚至包括手写。还能用来提取表格数据。
2024-09-12 20:15:38
866
原创 代码角度，深度解析 Qwen2-VL 模型结构
快速开始，接下来我会简单说说 Qwen2-VL 整体结构当中的几个关键的细节。帮助大家快速理解Qwen2-VL结构和其他网络结构的不同。
2024-09-12 20:14:44
924
原创 ECCV2024｜GalLoP：多模态提示学习——视觉-语言模型的全局和局部提示
提示学习已被广泛采用来有效地适应视觉语言模型（VLM），例如CLIP，用于少量图像分类。尽管取得了成功，但大多数学习方法都需要在分类准确性和鲁棒性之间进行权衡，例如用于域泛化或分布外（OOD）检测。作者引入了全局局部提示（GalLoP），利用全局和局部视觉特征来学习多种不同的提示。局部提示的训练依赖于具有增强的视觉文本对齐的局部特征。为了仅关注相关特征，这种局部对齐与局部特征选择中的稀疏策略相结合。此外，使用新的“提示dropout”技术和局部提示的多尺度策略来强制提示集的多样性。
2024-09-11 20:12:14
1083
原创 最新热点！融合创新！Transformer+并行网络：局部特征+全局特征；时序特征+空间特征！小白也会用的分类预测程序！
Transformer模型是当前预测领域的热门模型，但在故障识别即分类领域尚缺乏相关文献，更别说其改进模型了，的必定是创新性极高的发文方向，且这方面的文献极度稀缺，可以说一投就中。本程序结合上述3篇文献，并对其进行多重改进创新！！！提出基于数据预处理方面参考文献三，利用相空间重构法将一维波形转化为二维图像；图像特征提取方面参考文献一：搭建用于提取递归图的空间特征故障识别模型结构参考文献二：构造故障识别程序文献一解读。
2024-09-11 20:11:13
1038
原创 还在死磕AI咒语？北大-百川搞了个自动提示工程系统PAS
基于 Transformer 架构的大语言模型正在各个领域取得突破性成果。提示词工程（Prompt Engineering）在其中的角色至关重要。用好提示词，研究人员和开发者能够引导模型在特定任务上表现得更优秀。这种方法不仅能够显著提升模型的性能，还能够增强模型的适应性，使其在面对各种复杂任务时更加灵活和高效。此外，提示词工程还能优化模型的学习过程，提高复杂问题处理效率，减少训练时间和计算资源需求。相较于传统的微调方法，提示词工程能以极低成本使模型适应多个下游任务，大幅节省计算资源和数据收集成本。
2024-09-11 20:08:49
812
原创 多模态大模型综述
多模态大型语言模型（Multimodal Large Language Models， MLLM）的出现是建立在大型语言模型（Large Language Models， LLM）和大型视觉模型（Large Vision Models， LVM）领域不断突破的基础上的。随着 LLM 在语言理解和推理能力上的逐步增强，指令微调、上下文学习和思维链工具的应用愈加广泛。然而，尽管 LLM 在处理语言任务时表现出色，但在感知和理解图像等视觉信息方面仍然存在明显的短板。
2024-09-11 20:07:27
949
原创 我花了二周时间整合了一个数字人合成系统
先说下为什么做这个系统。当前市面上有不少的数字人合成系统，但是他们的做法基本上都是缝合了若干个开源系统。比如数字人形象生成整合了Easy- wav2lip，Wav2lip-HD，MuseTalk，DH-Live等系统。要知道目前开源的数字形象系统没一个能商用的，整合再多的也无济于事，而且每一个系统的资源开销占用都超出了普通电脑的负载能力，更别说一下子整合这么多系统。
2024-09-09 20:04:54
830
原创 微调框架Llama-factory和Unsloth：应该选择哪个？
测试表明，UNSLOTH和LLAMA-FACTORY在社区支持、模型种类和易用性上相近，但UNSLOTH在微调速度上表现突出。尽管处理的数据量是LLAMA-FACTORY的20倍，UNSLOTH的速度仍快约10倍，极大优化了时间成本，尤其在大规模数据处理中的效率优势显著。
2024-09-09 20:04:05
1008
原创 最佳实践｜本地跑GraphRAG
为在本地环境中部署GraphRAG，需配置两种模型：一是用于实体提取与摘要的，二是用于数据向量化的。当前，GraphRAG采用的是OpenAI提供的模型，故部署的核心在于选用兼容OpenAI API标准的模型以实现替代。今天带大家一起沉浸式体验，并且在支持中文graph构建上做了一些优化改进。
2024-09-09 20:02:46
1037
原创 基于Transformer的外汇股票市场价格预测（Part1，Python）
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
2024-09-08 10:45:00
550
原创 Github 88.8k Stars 一款可以本地部署多款大模型软件
Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。Ollama 本身就有多款大模型可以下载，但是要根据自己的电脑下载对应配置的参数。预构建模型库：包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。您应该至少有 8 GB 的 RAM 来运行 7B 型号，16 GB 的 RAM 来运行 13B 型号，32 GB 的 RAM 来运行 33B 型号。
2024-09-07 10:45:00
713
原创 基于LaMA-Factory微调llama3.1-8B
大模型的训练目前主要分为和，受限于资源算力等原因，实际工作中更多用到的是。对于普通用户来说SFT仍然具备较高的门槛，需要了解一定的理论基础，准备用于微调的数据，由于不同基座模型相应的微调方法也不一样，需要对超参数优化等其他问题这里推荐使用LaMA-Factory支持多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
2024-09-06 20:39:53
976
原创 科学大语言模型及其在科学发现中的应用
大型语言模型（LLMs）的出现为自然语言处理（NLP）带来了一种新的范式，即用对各种问题都相当有效的统一模型取代为每项任务设计的专门模型。在科学领域，这种范式不仅重塑了人们处理自然语言相关任务（如科学论文、医疗记录和气候报告）的策略，还激发了人们处理其他类型数据（如分子、蛋白质、表格和元数据）的类似想法。除了理解现有的科学数据，LLMs 还显示出通过生成、规划等加速科学发现的潜力。鉴于 LLM 在不同科学领域的广泛而深远的影响，有必要全面回顾这方面的相关工作。
2024-09-06 20:38:28
1109
原创 kotaemon核心GraphRAG、Agent、多模态代码解读！
要说最近RAG方面火热的项目当属，短时间暴涨8k star的亮点是可定制化，核心技术点是混合索引（Vector、Keyword、）、复杂推理（ReAct、ReWOO、MemoryGIST 和 GraphReader）、。混合索引（GraphRAG）混合索引主要是指：全文和矢量融合，这里还有一个选型就是集成了RAG的新范式：GraphRAG看代码直接用的微软GraphRAG检索后重排采用LLMReranker复杂推理Agent推理目前主要实现了与。
2024-09-06 20:01:36
656
原创 Mini-Omni：首个开源实时语音交互模型，边听边说边思考，延迟比GPT-4o还要低
Mini-Omni是一个开源多模态大型语言模型，具备实时对话能力和端到端的语音输入输出功能。通过独特的文本指导并行生成方法，实现了与文本能力一致的语音推理输出，仅需极少的额外数据和模块。Mini-Omni还引入了一种“任何模型都能说话”的创新方法，通过最小的训练和修改，快速地将其他模型的文本处理能力转换为语音交互能力。
2024-09-05 19:50:26
803
原创 超级Prompt：几行乱码让大模型获得科学思维，这个神奇的提示词突然火了
起猛了？不过两三天的时间，仅有两个 Markdown 文件的 GitHub 项目为何竟能收获 2k star？仔细一看，其中一个 Markdown 文件是一个流程图，另一个 Readme 文件的主要内容则是一大篇大模型提示词（prompt。而如果你细读这个 prompt，却发现里面仅有寥寥数句人类能懂的话，其余都是一些奇怪的 XML 标签、符号与函数定义。大模型也要有自己的 Magic number 了？
2024-09-05 19:49:30
991
原创 重大突破！谷歌DeepMind展示GenRM技术：AI推理能力的新里程碑
GenRM技术的核心在于将验证过程重新定义为一个**生成任务，**具体来说是将其视为下一个标记预测问题，使AI能够更自然地利用其文本生成能力。该技术还支持。
2024-09-05 19:47:43
695
原创 RAG 应用效果不太理想？试试以下RAG优化策略大幅提升问答效果
自从2022年12月 ChatGPT 横空面世以来，AI 领域获得了十足的关注和资本，其实AI的概念在早些年也火过一波，本轮 AI 热潮相比于之前的 AI，最大的区别在于：生成式。通过海量文本训练的、能识别人类语言、执行语言类任务、拥有大量参数的模型，称之为大语言模型。GPT、LLaMA、Mistral、BERT等都是LLM，LLM是对训练文本信息的压缩，同时拥有了泛化能力，不同于数据库和搜索引擎，LLM能创造性地生成历史上没有出现过的文本内容。
2024-09-04 20:34:25
979
原创 大模型之提示词工程原理——提示学习(prompt learning)
知其然也要知其所以然，为什么会有提示词工程？了解和使用过大模型的人应该都知道提示词工程，即使不了解提示词工程，至少也应该听说过，提示词工程说白了就是一种和大模型交流的方法，它的作用就是让大模型更好的理解人类的需求。而且在网上很多关于大模型提示词的文章和视频中，都提到了提示词的质量能够直接影响到大模型的性能和推理效果。但很少有人能明白这是为什么？为什么不同的提示词会产生完全不同的效果。今天我们就来透过现象看本质，深入了解一下提示词工程。。
2024-09-04 20:33:17
966
原创 2万字长文，如何成为一个“懂”AI 的产品经理？
坦率来说 2024 年围绕大模型，产品的发展速度比之前预期的要低一些，比如在 BI 领域，Chat BI 声量很大，但落地下来效果并不好，这个也很正常，因为每个人总是会在短期内高估技术带来的价值，而在长期范围低估技术带来的价值。这里面有客观的原因，一项技术基底在真的应用到行业的方方面面本身就是需要过程的，因为这项技术需要去和原本的实现方案做竞争，就像俞军给的知名的需求公式：用户价值= 新体验– 旧体验– 替换成本。很多时候即使用了新技术，收益可能也没有想象的那么大，这是一个事实。
2024-09-04 19:57:43
1939
原创 LLM+推理决策(8) | 当大语言模型遇上路径规划问题 (TSP/CVRP)
结合标题可知，这篇文章的重点是使用LLM求解机器人的路径规划问题。路径规划在日常生活中普遍存在且有多种形式：规划2个地点之间的路径：比如周末要与朋友前往一家新店聚餐，往往需要借助地图APP提前规划好路线；规划多个地点之间的路径：比较具有代表性的是旅行商问题（简称TSP）。如下图所示，TSP问题是指一个旅行商需要依次访问N个城市，启程之前旅行商需要规划好路径且需要满足【每个城市只访问1次&最终回到起点】的要求。此外，为了降低成本，旅行商致力于构建出1条总里程最短的路径；
2024-09-04 19:55:41
766
原创 PolyRouter：AI 调度员为你砍掉30%大模型成本！
老板，我们公司现在有一堆大模型，有的擅长聊天，有的擅长写代码，有的擅长分析数据……每次来了新任务，好呢？这可不是一个简单的问题。派错了模型，不仅效果差，还要多花钱。有没有一种方法，能来完成任务呢？最近，有研究人员就提出了一个叫的系统，能智能调度各路AI大模型，让它们各司其职、发挥所长。这个系统有多牛？据说能，还能让查询吞吐量提升40%！什么原理呢？一起来看看这个""是如何工作的。。这就好比一个公司里，有的员工擅长销售，有的擅长技术，有的擅长管理，没有全能选手。
2024-09-04 19:53:36
1055
原创 人人都能玩得起AI机器人！HuggingFace开源低成本解决方案
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。在模仿（训练）的过程中，模型收集了手臂位置和对应的图像数据，之后（推理）就可以根据当前摄像头看到的画面来预测各个电机需要到达的角度。
2024-09-03 19:47:02
1085
原创 代码数据对预训练究竟有多重要？这项实验给出了完整答案！
一个实验性的工作，代码数据对预训练究竟有多重要？实验框架先看四种场景，纯文本；文本-代码均衡；先均衡再文本退火；先代码训练，再8：2分配O1 与仅使用文本数据进行预训练相比，添加代码数据可以相对提高推理，世界知识，编码性能O2 model scaling，得到的结论同O1一致代码数据的几种类型，code markup stype: 如markdown、json之类的；Code Adjacent Data： 如git issues等。
2024-09-03 19:45:30
1074
原创 从目前国内LLM模型公司八卦谈起
我个人不是喜欢打听这些公司八卦的人，前些年移动互联网时代就已经有太多这样的小道消息，但最终都没有没什么用。重要的信息迟早会变成公开，最多晚几个月而已，又不是要考虑抢时间窗口投这些公司，花时间去探究ROI不高。今天看到两个评论六小虎的消息，信息都甩脸上了，内容也有点意思。就简单通过猜测补全一些信息，整理一下供后续讨论。所有信息都基于别人爆料和公开信息再加一些猜测，不少猜测来源于群友贡献。
2024-09-03 19:44:48
1100
原创 一文读懂结构化数据和非结构化数据的区别
结构化数据是指那些以固定格式或模式存储的信息，通常可以被快速检索和处理。这类数据最典型的例子就是数据库表格中的信息，例如客户名单、销售记录等。结构化数据的特点包括：格式固定：每条数据都有明确的字段和定义。易于查询：通过SQL等查询语言可以高效地进行搜索和筛选。标准化：数据格式统一，便于管理和分析。
2024-09-02 20:15:54
1000
原创 基于OBSIDIAN+Ollama+llama3.1构建个人智能助理
一说起智能助理大家想到的是智能家居、健康监测、购物、教育等，范围是非常大的，为了更聚焦和落地一些，在这里我们把范围约束的更小一点。我本人是一名产品解决方案方案专家，因此日常的工作主要聚集在以下几个方面：1. 必须时时了解行业的新知识、新趋势：包括大模型、智能运维、行业的相关应用等。2. 为客户提供售前解决方案材料3. 为项目实施提供售后解决方案材料，包括需求文档 、技术方案等4. 同客户交互的过程中需要实记录会议记要、项目进展历史5. 进行产品设计6. …
2024-09-02 20:15:05
1243
原创 前沿！时序大模型研究进展！
在深入剖析了近期一系列关于时间序列大模型研究的成果后，我们不难发现，该领域正以前所未有的速度蓬勃发展，其广泛的影响力已渗透至多个关键领域与应用场景，展现出巨大的变革潜力。随着技术的持续迭代与革新，我们有理由相信，未来将有更多创新策略与应用模式涌现。
2024-09-02 19:50:29
1000
原创 使用AI抓取了30万远程工作机会：外国小哥的血泪创业史
找工作是一件让人头疼的事，尤其是对那些寻找远程工作机会的人来说。市面上充斥着各种招聘网站，但大多数都乱七八糟，不是重复的职位，就是缺乏透明度。我和很多人一样，对Indeed和LinkedIn这些传统的招聘平台已经失望透顶。有一个外国小哥，让这种失望成为了他创业的动力，最终让他踏上了开发AI驱动的远程工作搜索引擎的道路，如今它已经收录了超过30万个职位。这篇文章就来讲讲他是怎么折腾出这么个东西的。
2024-09-02 19:49:52
1126
原创 别再浪费时间了！ChatGPT AI 提示这样写，效率立马翻倍！
如果你使用的 AI 模型能够输出多种格式，请在提示中明确指出输入的内容以及你期望的输出格式。例如，ChatGPT 能够输出 Python 和 HTML 等代码语言，以及图表和CSV等可视化样式。这意味着你可以上传一个CSV格式的调查数据文件，然后让ChatGPT将同样的数据以条形图的形式输出。
2024-09-01 10:45:00
712
原创 从“智障客服”变智能客服，大模型终于落地了｜甲子光年
智能客服从成本中心到价值中心的蜕变。2024年春节期间，经过半年多的摸索，瓴羊Quick Service在内部发布了一个新产品版本，定义了在to B场景下智能客服Agent的产品形态。在当时的时间点，这可能是国内第一个可落地的大模型加持的智能客服Agent。瓴羊Quick Service部门面临一个选择：要不要面向市场公开发布这个初步成型的产品？要知道，Agent是一个炙手可热的大模型风口，市场上成熟的产品寥寥可数，一旦发布，一定会引发行业不小的关注。
2024-08-31 20:25:04
1405
原创 小模型大智慧！港大重磅开源EasyRec，推荐系统进入语言模型时代
本文介绍了语言模型 EasyRec，它结合了先进的语言模型和对比学习技术，为用户行为分析和个性化推荐提供了强有力的支持。EasyRec 能够敏锐捕捉用户兴趣和行为的微妙变化，并能够迅速响应并调整推荐内容，无论变化大小。在文本推荐的场景中，EasyRec 展现出了独特的优势，能够为用户提供精准的、符合潜在兴趣的推荐。此外，通过增强协同过滤技术，EasyRec 进一步提升了推荐的多样性和准确性，为用户带来了更加丰富和个性化的浏览与购物体验。
2024-08-30 20:42:30
1408
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人