网安猫叔-CSDN博客

原创训练好的深度学习模型，多种部署方式

当我们辛苦收集数据、数据清洗、搭建环境、训练模型、模型评估测试后，终于可以应用到具体场景，但是，突然发现不知道怎么调用自己的模型，更不清楚怎么去部署模型！我们需要支持多种不同的框架和模型，这导致开发复杂性，还存在工作流问题。数据科学家开发基于新算法和新数据的新模型，我们需要不断更新生产环境。如果我们使用英伟达GPU提供出众的推理性能。首先，GPU是强大的计算资源，每GPU运行一个模型可能效率低下。在单个GPU上运行多个模型不会自动并发运行这些模型以尽量提高GPU利用率。

2024-08-23 15:53:40 516

原创大模型学习之多任务学习模型MTL: MMoE、PLE

微信大数据挑战赛以往的做法可能会对不同的task分别建立对应的模型，但这样会导致几个问题模型的数量会随着task的数量增加而增加，模型维护成本高；生产环境中，需要同时多个模型进行计算，才能完成多个task的预估，存在性能问题；忽略了不同task之间的关联。那么，多任务学习就是为了解决这些问题，建立一个模型，同时对不同的task进行学习。经常存在某个task的样本数量比较少的情况，导致模型的学习难度较高。多任务学习过程中多个task的样本数据是共享的，一定程度上减缓这个问题。

2024-08-23 15:49:07 666

原创从语言模型到ChatGPT：大型语言模型的发展和应用

大型语言模型（LLM）是指能够处理大量自然语言数据的深度学习模型，它已经在自然语言处理、文本生成、机器翻译等多个领域中展现出了巨大的潜力。在过去几年中，LLM领域经历了飞速的发展，其中Google和OpenAI作为两家领先的公司在这个领域中的表现备受关注。Google是LLM领域的重要参与者，其BERT自编码模型和T5编码解码器在自然语言理解任务上取得了优异的表现。BERT模型通过预训练大规模文本数据，提取出词向量的同时，也能够学习到上下文信息。

2024-08-23 15:46:55 560

原创从零开始，大模型训练教程

3.指令类型应该是多样化的，包括各种类型的任务，类别种类例如：brainstorming，open QA，closed QA，rewrite，extract，generation，classification，chat，summarization。例如，指令不应该和音频、视频、图片、链接相关，因为GPT模型无法执行这个操作。甲公司是国内一家领先的新媒体、通信及移动增值服务公司，由于遭受世界金融危机，甲公司经济利润严重下滑，经营面临困境，但为了稳定职工队伍，公司并未进行裁员，而是实行高层管理人员减薪措施。

2024-08-23 15:36:44 608

原创吴恩达深度解析Agent的四种工作方式

当我们讨论AGI时，Agent的工作方式无疑占据了技术前沿的中心舞台。随着大模型的快速进步，我们见证了各种新模式的涌现，这些模式不仅提升了llm的效能，更在根本上改变了它们与人类互动的方式。最近一个月时间，吴恩达在社交媒体上分享了关于AI代理四种工作方式的见解，这些内容不仅洞察深刻，还为AI的应用开辟了新的可能性。他的讨论不仅令人兴奋，更是对所有关注人工智能发展的人士的一次宝贵启示。接下来，让我们一起探索这些工作方式，并思考它们如何使得AI代理在执行复杂任务时更为高效和智能。

2024-08-20 17:34:52 961

原创 AI Agent 的发展现状、行业结构与趋势分析

Agent 来自一种哲学概念，是个很古老的哲学术语，从哲学意义上讲，“代理”的概念涉及实体的自主性，具有行使意志、做出选择和采取行动的能力，而不是被动地对外部刺激做出反应。后来人们将这一概念引入计算机科学领域，用 Agent 概念指代整个人工智能，认为人工智能是“基于计算机的、表现出智能行为各个方面的 Agent”，因此可以理解为 AI Agent 是 Agent 这一哲学概念在人工智能领域的具体化，是能够感知周围环境，做出决策，然后采取行动的计算实体。

2024-08-20 17:32:44 822

原创 LangChain 从入门到实战 -六大组件之Agent_langchain agent

在开始之前，先了解一下 langchain - smith 上提供的 hub 平台，当然这个平台还有其它功能，比如测试应用的流等等其中这个平台提供了很多 prompt 的用例，我们可以通过代码拉取现成的prompt 在langchain中使用我们来看一下这个 promptReAct 是一个结合了推理和行动功能的方法，通过交叉生成推理轨迹和特定于任务的动作，从而实现更大的协同作用。它在问答和决策任务中表现优秀，具有较高的可解释性和可信度。

2024-08-20 17:30:18 1104

原创大模型入门实战（非常详细）零基础入门到精通，收藏这一篇就够了

是近几年在AI圈子非常火爆的观点。当大家都在热议大模型和生成式AI时，怎么让这些炫酷的技术快速落地，真正帮到商业和社会，成了个大难题。不过，AWS已经把大模型和生成式AI的门槛大大降低了。

2024-08-19 19:03:28 981

原创什么是大模型？（超详细）大模型从入门到精通，看这一篇就够了

大模型是指具有数千万甚至数亿参数的深度学习模型。近年来，随着计算机技术和大数据的快速发展，深度学习在各个领域取得了显著的成果，如自然语言处理，图片生成，工业数字化等。为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。大模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大模型的设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。大模型采用预训练+微调的训练模式，在大规模数据上进行训练后，能快速适应一系列下游任务的模型。

2024-08-19 19:00:38 1039

原创大语言模型（LLM）token解读

人们经常在谈论大模型时候，经常会谈到模型很大，我们也常常会看到一种说法：参数会让我们了解神经网络的结构有多复杂，而token的大小会让我们知道有多少数据用于训练参数。什么是token？比较官方的token解释：Token是对输入文本进行分割和编码时的最小单位。它可以是单词、子词、字符或其他形式的文本片段。看完是不是一脸懵逼？为此我们先补充点知识。Token是LLM处理文本数据的基石，它们是将自然语言转换成机器可理解格式的关键步骤。

2024-08-19 18:59:38 1021

原创大模型综述来了！一文带你理清全球AI巨头的大模型进化史

大模型必然是未来很长一段时间我们工作生活的一部分，而对于这样一个与我们生活高度同频互动的“大家伙”，除了性能、效率、成本等问题外，大规模语言模型的安全问题几乎是大模型所面对的所有挑战之中的重中之重，机器幻觉是大模型目前还没有极佳解决方案的主要问题，大模型输出的有偏差或有害的幻觉将会对使用者造成严重后果。同时，随着 LLMs 的“公信度”越来越高，用户可能会过度依赖 LLMs 并相信它们能够提供准确的信息，这点可以预见的趋势增加了大模型的安全风险。除了误导性信息外，

2024-08-19 18:54:49 739

原创 AI大模型没那么神秘，3个超简单秘诀让你轻松上手！

以上就是，超简单，但是超好用的三个入门级小窍门啦！简单到可以随学随用，赶紧用起来吧！遇到什么小麻烦，不用急着找人，先来问问大模型吧！

2024-08-14 11:00:00 1414

原创大语言模型LLM核心技术，通俗易懂！

2018-2019年发布的几个语言模型的参数数量如今的LLM通常有几百亿到几千亿的参数LLM 是“Large Language Model”的缩写，中文名为“大语言模型”。是一种被设计用于理解或生成人类自然语言的机器学习算法。大语言模型可以用于各种自然语言处理任务，如文本生成、机器翻译、问答系统、自动摘要等。它们。

2024-08-14 10:45:00 923

原创大语言模型(LLM)快速理解

从大语言模型字面意思来理解，“语言”和“模型”很好理解，就是代表着在自然语言处理上的AI模型。而这个大指的是神经网络很大，包括模型的参数数量训练数据量计算资源等。参数数量大语言模型通常含有数十亿到数千亿个参数，使得模型能够有更强的语言理解、推理和生成能力。2018年发布的GPT-1包含 1.17 亿个参数，9.85 亿个单词。``2019年发布的GPT-2包含15亿个参数。``2020年发布的GPT-3包含1750亿个参数。ChatGPT 就是基于这个模型。

2024-08-14 10:30:00 1773

原创全网详细解读AI大模型技术原理！！

大语言模型作为一个被验证可行的方向，其“大”体现在训练数据集广，模型参数和层数大，计算量大，其价值体现在通用性上，并且有更好的泛化能力。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大模型的设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。

2024-08-13 20:21:49 1052

原创深入浅出LangChain与智能Agent：构建下一代AI助手

LangChain为大型语言模型提供了一种全新的搭建和集成方式，通过这个强大的框架，我们可以将复杂的技术任务简化，让创意和创新更加易于实现。本文从LangChain是什么到LangChain的实际案例到智能体的快速发展做了全面的讲解。我们小时候都玩过乐高积木。通过堆砌各种颜色和形状的积木，我们可以构建出城堡、飞机、甚至整个城市。现在，想象一下如果有一个数字世界的乐高，我们可以用这样的“积木”来构建智能程序，这些程序能够阅读、理解和撰写文本，甚至与我们对话。

2024-08-13 20:20:00 936

原创浅谈AI大模型的数据特点和应用问题

综上所述，目前大模型规模化应用存在的成本、性能、安全和商业变现等问题，制约着其中数据要素价值的进一步发挥。如何将大模型中的价值数据转化为可量化、可交易、可持续增值的资产，并推动大模型产业和数据要素市场的高质量健康发展，是当前大模型平台方、数据持有方、数据使用方和数据监管方等多元主体共同关心的话题。。

2024-08-13 20:15:04 909

原创使用Ollama在本地部署AI大语言模型(类似GPT)

在大模型快速发展的今天，工作生活往往会依赖语言模型（我爸和我吵架直接就丢个问gpt的截图出来），但是online的模型都会保存你的用户画像以产出更适合你的回答，在本地部署LLM可以让你自己的数据更有隐私并且免费无限制可以离线工作。我用来测试的一台机器的配置如下：首先需要你的电脑安装wsl然后在windows功能中，对于打红框的三个勾选，然后重新启动重新启动后打开开始界面会多一个ubuntu点击在命令行中设置用户名密码，如此便已经配置好了wsl，可以开始部署模型。在命令行中输入，以更新环境。

2024-08-09 22:34:09 689

原创只要8G显卡！本地运行最强Llama 3.1大模型！

前几天，Meta发布了他们迄今为止体量最大的开源AI模型——Llama 3.1。这个模型在多项基准测试中表现卓越，甚至优于GPT-4o和Anthropic的Claude 3.5 Sonnet。这次发布的Llama 3.1有三个尺寸：8B（中杯）、70B（大杯）和 405B（超大杯）。相比几个月前发布的小型Llama 3模型，Llama 3.1复杂得多，能力更强。

2024-08-09 22:32:51 1020

原创教你轻松本地电脑部署最新Llama3.1，搭建免费本地大模型助手

在开始之前，我们要先搞懂两个概念和。看似写法差不多，但意思相差很大。是 Meta（Facebook 的母公司）发布的一系列最先进的开源大语言模型。Llama 3.1 系列包括 8B（80 亿参数）、70B（700 亿参数）和 405B（4050 亿参数）模型。其中，405B 是 Meta 迄今为止最大的模型，也是首个“前沿级”的开源模型。是一个开源的大模型管理工具，它提供了丰富的功能，包括模型的训练、部署、监控等。通过Ollama，你可以轻松地管理本地的大模型，提高模型的训练速度和部署效率。

2024-08-09 22:31:35 834

原创智能体时代：Agent开发的三重境界

另一个典型的应用场景是新闻内容的自动总结。Agent可以接收大量的新闻数据，然后通过自然语言理解能力，提炼出关键信息，生成一份简洁的新闻日报。结合网页信息获取工具，我基于LangChain做了一个简单的新闻总结demo见github。在这一阶段，Agent的开发主要集中在如何更好地理解和处理自然语言上。开发者在AI领域只需要熟悉自然语言处理（NLP）的基本原理，在AI工程上用到最多的也限于提示词优化，就能够利用现有的AI模型来实现这一功能。

2024-08-07 21:55:14 885

原创超干货！如何设计基于Agent的AI应用系统

随着我们对人工智能的研究，我们越来越开始理解人类大脑的工作原理。本文通过对复旦论文的解读，提出了一种可以实现自执行的任务处理系统架构。一个agent本身的实现可以很复杂，但是在概念上，它只是一个“input -> agent -> output”的处理单元，是非常简单的。随着我们在技术上的深入，我们会越来越接近AI编程。就如上文展示的一样，将来，在AI系统的基础上，我们只需要使用非常简单的自然语言，就能设计出以目标为导向的任务，而无需关心它的具体实现，以及它的内部原理。

2024-08-07 21:51:03 675

原创 AI Agent 开源和创业项目大盘点，Agent 基础设施正在崛起

当前 AI Agent 和其基础设施的发展还处于非常早期的阶段，我们能看到的是一系列尚未商业化或整合到更广泛服务中的运营服务和开源工具。在这个领域，谁会成为最后的赢家还远未明确——这些最终的赢家可能今天还非常年轻，甚至还未出现。

2024-08-07 21:49:11 718

原创使用大模型提效程序员工作

通过在接手其他语言的项目中使用大模型、生成脚本辅助日志查询、根据接口文档使用大模型直接生成Java Bean代码以及学习新技术这四个场景的实践，我们可以更快地理解代码、更快地查找线上问题，以及减少编码时间。比如：你可以输入一段 Lua 脚本，询问大模型，这段脚本的意思，还可以让它详细解释每行代码的意思，让我们更快接手一个我们不熟悉编程语言写的项目。包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。但使用大模型仍然能够大大提升我们学习新技术的效率。

2024-08-06 14:35:40 878

原创大模型时代，程序员如何实现自我成长？

Inflection AI 的 Pi 是目前使用体感最好，如果说我将 ChatGPT 当作工具人，那 Pi 就是一个善解人意的小伙伴，优先于人的设计理念，相比其他服务于生产力、搜索或解答问题的 AI，可以放心将 Pi 视作一个具有创造力的教练、朋友或者是一个“发泄情绪”的对象，当然有类似定位的还有致力于让每个人都可定制自己的个性化 AI 的 Character.ai，不过靠提示词调教出来的虚拟角色稳定性堪忧，但是以这个项目作为入口，收集海量高质量交互数据，具备构建出体验超过 Pi 的大模型潜力。

2024-08-06 14:34:13 989

原创从环境搭建到实践应用：程序员的大模型之旅

在大模型开发的道路上，许多程序员都曾因为环境搭建的困难而望而却步。尤其对于无法直接访问ChatGPT的程序员而言，这一挑战更为严峻。然而，本文将以通俗易懂的方式，为你打开学习大模型的大门，让你轻松写下自己的第一个大模型代码。大模型的学习之路似乎总是被技术难题所遮蔽。环境搭建、资源获取，这些看似不可逾越的障碍，常常令人望而却步。但实际上，学习大模型并非遥不可及。通过本文，我将带你一窥大模型的神秘面纱，让你重新点燃学习的热情。第一步，我将解决环境搭建的难题。

2024-08-06 14:24:45 814

原创直面程序员的AI焦虑：学习大语言模型开发是关键

在上面的实践中，我们成功让一个只能解决通用问题的社区 AI 工具学习到了私域知识。在定制通用工具的过程中，我们不止可以产出更趁手的 AI 工具，同时还能加深对 AI 领域知识的了解。此外，在上文提到的 Dify 知识库创建中，平台会先使用文本分割技术将我们传入的技术文档分割成一个个碎片，在每次请求 OpenAI 时，会使用嵌入技术动态选择最关联的碎片，因此 OpenAI API 无法一次性获取完整地私域文档知识，进而在一定程度上保障了企业信息安全。

2024-08-06 14:19:30 1163 1

原创 AIGC大模型微调与私有化部署的应用及案例

AIGC（人工智能生成内容）大模型与私有化部署的结合，特别适用于需要高度数据隐私和定制化需求的场景。以下是AIGC大模型与私有化部署的应用及具体案例分析：1. 医疗健康应用- 临床决策支持：通过私有化部署大模型对患者数据进行分析，生成个性化的诊疗建议和健康管理方案。- 病历自动生成：大模型可以帮助医生自动生成标准化的电子病历，提高文书工作效率。案例- 描述：Mayo Clinic使用私有化部署的大模型对患者的医疗数据进行分析，提供适时的临床决策支持和疾病预防建议。

2024-08-05 19:41:05 681

原创私有化部署 Llama3 大模型, 支持 API 访问

原文 https://ducafecat.com/blog/llama3-model-api-local通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。

2024-08-05 19:40:34 1111

原创大模型落地竞逐，云计算大厂“百舸争流”

综上所述，这四家云计算大厂对于大模型的落地虽然在打法上各有侧重，但目标还是非常一致，基本上都是在自身原有业务的基础上进行延展，或继续加长自己的长板，或开发出新的增量。值得一提的是，除了在大模型的技术和业务层面进行竞争之外，这几家大厂还广泛参与到大模型创业公司的投资之中，目前中国估值前五的生成时AI独角兽（月之暗面、智谱AI、Minmax、零一万物和百川智能），阿里的参投率为100%，腾讯则投了百川智能、智谱 AI 、MiniMax 3家，此外深言科技、无问芯穹等大模型公司也曾进入到腾讯的投资名单。

2024-08-05 19:39:52 709

空空如也

空空如也