- 博客(28)
- 收藏
- 关注
RSS订阅原创 Transformer Architecture
Transformer 模型于 2017 年在论文《注意力就是你所需要的一切》中首次提出。Transformer 架构旨在训练语言翻译目的模型。然而，OpenAI 的团队发现 transformer 架构是角色预测的关键解决方案。一旦对整个互联网数据进行训练，该模型就有可能理解任何文本的上下文，并连贯地完成任何句子，就像人类一样。该模型由两部分组成：编码器和解码器。通常，仅编码器体系结构擅长从文本中提取信息以执行分类和回归等任务，而仅解码器模型则专门用于生成文本。
2024-06-03 20:19:24
818
原创 如何成为 Prompt 大师 第二部
由于模型具有固定的上下文长度，因此用户和助手之间的对话（其中整个对话都包含在上下文窗口中）不能无限期地继续。这个问题有多种解决方法，其中之一是总结对话中的前几轮。一旦输入的大小达到预定的阈值长度，这可能会触发一个查询，该查询汇总了部分对话，并且可以将先前对话的摘要作为系统消息的一部分包含在内。或者，可以在整个对话过程中在后台异步总结先前的对话。另一种解决方案是动态选择与当前查询最相关的对话的先前部分。请参阅策略“使用基于嵌入的搜索实现高效的知识检索”。
2024-05-27 16:15:56
335
原创 自己训练一个小模型
想要看懂或写出训练小模型的代码，需要学习前置 Transformer模型、机器学习、线性代数等相关知识。如果你能自己训练一个小模型，说明你已经掌握Transformer了。训练小模型不是目的，目的是通过训练小模型跑通大模型训练的基本流程。Chatgpt都出4o为什么还要自己训练一个小模型呢？有些场景就需要小模型，小而美，就像单片机就是有它的市场。
2024-05-16 15:54:49
1229
原创 AI换脸 不求人
GUI的方式，在windows电脑直接打开exe就能使用。如果你对于AI换脸有更高的要求，我也帮你想好了，先看一张表。今天推荐一款，非常简单容易上手的AI换脸开源产品。
2024-05-12 13:17:41
1738
1
原创 如何成为 Prompt 大师
在自己做AI应用之前，请一定要体验、使用、掌握GPTs，因为我们需要站在巨人的肩上才能看得更远。我猜猜你在想什么，可以在GPTs内些代码，那不是可以做业务系统了 ：）除了使用巨人的能力 和 强大的workflow，还可以混合使用代码。今天我们通过几个GPTs的示例来学习一下，怎么写Prompt。简单的一段prompt就能做出强大功能的应用（依赖巨人的高度）
2024-05-11 17:41:52
164
1
原创 MetaGPT 与 ChatDev
MetaGPT 是一个基于多智能体的元编程框架，它通过将不同的角色（如产品经理、架构师、项目经理等）分配给不同的大型语言模型（LLM），实现软件开发流程的自动化。它通过不同的角色运作，例如首席执行官、首席技术官、程序员、测试员和设计师。据报道，MetaGPT 在代码生成的第一次尝试中就能达到81.7%至82.3%的成功率，这显著高于其他先进的代码生成工具。MetaGPT适合复杂、大规模的项目需求，而ChatDev更适用于快速原型开发和敏捷迭代的环境，两者各有所长，根据项目的具体需求来选择使用。
2024-05-07 19:33:44
783
原创 LangChain RAG 下册
ColBERT 类似地为查询中的每个标记生成向量。完成第一步Query Translation之后就要进入第二步Routing，Routing的意义在于根据不同的问题类型走不同的策略，比如关系型数据库走nl2sql查询，向量查询走索引向量数据库查询。允许我们对每个文档的内容和标题进行非结构化搜索 并对查看次数、发布日期和长度使用范围过滤。注意：我们使用函数调用来产生结构化输出。
2024-05-04 13:18:57
1078
原创 使用Colab_LLaMA_Factory_LoRA微调_Llama3(可自定义数据）
这个过程超级简单，半个多小时在T4上就能跑完。完全可以替换成自己的数据，支持中文数据。微调过程大约需要 30 分钟。
2024-05-02 14:40:07
514
1
原创 LangChain RAG 上册
一切都要从这张图开始说起，这是RAG的经典图涵盖了Question->Translation->Routing->Construction->DB(VectorStore)->Indexing->Documents->Retrieval->Generation->Answer今天我们就来一起学习、拆解这张图，经过这次的学习，你会对RAG有深刻的理解。参考资料。
2024-05-02 13:06:01
75
1
原创 LangChain 入门与实战
想要构建自己的Agent，你一定无法避免和LangChain打交道。所以这篇文章将给大家介绍一下LangChain，知道它是什么，怎么用，基于LangChain能做了，并且它有什么问题。LangChain的文字资料和视频资料挺多的，我就不重复了，我会在文末添加相关的资料，有兴趣的朋友自行学习。我相信很多人是因为不了解LangChain，不了解Agent，才来看我的文章，而且大部分人时间也很宝贵，没有这么时间花几天时间来系统化学习，而且主要也不确定学习LangChain对自己的工作有没有帮助。
2024-04-28 20:28:56
311
原创 未来AI的方向在哪
OpenAI 的 1P-3P 产品法则 •只要⼀两个⼈（1P）开发的产品就⾃⼰（first Party）做例：OpenAI API、ChatGPT、GPTs Store需要三个⼈（3P）以上开发的产品就让第三⽅（third Party）做例：⾏业模型、复杂任务规划求解、复杂的记忆系统要做有用的AI一般都心情都会比较沉重，我以前一直做2b相关的产品业务，想要做出能交付给企业，实实在在解决企业实际问题的有用AI确实很难，就ChatGPT目前也无法做到。
2024-04-28 14:52:03
832
原创 斯坦福虚拟小镇
人类的很多想法很多时候都是出奇的一致，LLM被大家熟知之后，很多人应该都会想到用LLM创建智能NPC吧。这个虚拟小镇就是斯坦福和谷歌的几个大佬根据一个古老的模拟人生沙盒游戏创建的多智能体Agent的一个项目。能力主要是这几项：观察observation、记忆memory、反思reflection、计划planning第二章记住一张图就行每个智能体会有一段描述：人物背景、社会关系、性格等，比如智能体通过它们的行为与世界交互，并通过自然语言与彼此交互。在沙盒引擎的每个时间步，代理输出描述其当前动作的自然语言语句
2024-04-26 21:33:28
1391
1
原创 Alpaca：一个强大的、可复制的指令遵循模型
GPT-3.5 （text-davinci-003）、ChatGPT、Claude 和 Bing Chat 等指令跟踪模型变得越来越强大。许多用户现在定期与这些模型进行交互，甚至将它们用于工作。然而，尽管它们被广泛部署，指令遵循模型仍然存在许多缺陷： 它们可以产生虚假信息，传播社会刻板印象，并产生有毒语言。为了在解决这些紧迫问题方面取得最大进展， 学术界的参与很重要。
2024-04-24 17:37:39
743
1
转载 如何才能让自己写的代码特别清晰
编码约定是编程的风格指南。其中包括编程最佳实践和原则。这里我们将讨论一些编码约定。### 遵循约定的好处- 干净的代码- 代码质量- 代码可读性- 使代码维护更容易“干净的代码简单而直接。干净的代码读起来就像写得很好的散文。干净的代码永远不会模糊设计师的意图，而是充满了清晰的抽象和直接的控制线。” — 罗伯特·C·马丁## 神奇数字一个神奇的数字意味着我们正在分配没有明确意义的数字。有时我们出于特定目的使用值，并且我们不会在有意义的变量中分配值。问题在于，当有人使用您的代码时
2021-07-23 10:10:04
266
原创 企业集成平台即服务的关键功能
2020年9月21日发布-ID G00434187-32分钟阅读本文是Critical Capabilities for Enterprise Integration Platform as a Service的译文分析师Eric Thoo，Massimo Pezzini，Keith Guttridge，Bindi Bhullar，Abhishek Singh，Shameen Pillai企业iPaaS是支持应用程序和数据集成的基础，并且越来越多地用于B2B集成和API管理。这项研究针对四个关键用例
2021-04-27 18:15:51
1319
原创 Portal 的概念
随着网页浏览器在90年代中期的广泛应用，许多组织机构和公司开始尝试建立门户以获得互联网的市场，到20世纪末门户受到了更为广泛的关注，对许多用户来说它已经成为网页浏览器的始点。门户是一种Web站点,其作用相当于Internet入网的网关，是以一种统一的方式展现不同来源的信息，可能是一种搜索引擎或目录网页,是链路、内容和服务的总称, 旨在将用户引导到他们感兴趣的信息上。门户...
2012-11-01 11:50:03
256
年轻的公务员该住什么房？（转载）
Come from http://cn.wsj.com/gb/20100423/CWS191100.asp转载的目的不在文章本身，重心在文章的评论，很同意广大评论的论调 - -！崔宇对于有些中国老一辈的公务员来说，政府机关是攫取权力和金钱的天堂，也是通往罪恶和囹圄的驿站。对于中国年轻的公务员来说，政府机关或许像是座围城──里面的想出来，外面的人想进去。之所以想出来是...
2010-04-26 09:02:32
249
单工厂模式，工厂模式和抽象工厂模式超级简单介绍
昨天晚上和同学聊到工厂模式，感觉一下子没有什么整体思路，正好今天不怎么忙，gooogle下，给自己做个小总结。首先我看了一些别人写的关于工厂模式的介绍，普遍都比较长，对于没耐心的人可能就比较头疼了。好吧，我就站在巨人的肩上在重新整理下好了。这里主要通过比较简单工厂模式，工厂模式和抽象工厂模式的思路来介绍。先来看三张图吧（不是自己画的请愿作者原谅，流传太久不知出处- -！），...
2010-04-23 10:40:44
136
Ext中的get、getDom、getCmp、getBody、getDoc 的区别（转）
Ext中的get、getDom、getCmp、getBody、getDoc的区别2008-06-16 10:02Ext中包含了几个以get开头的方法，这些方法可以用来得到文档中DOM、得到当前文档中的组件、得到Ext元素等，在使用中要注意区别使用。1、get方法get方法用来得到一个Ext元素，也就是类型为Ext.Element的对象，Ext.Element类是Ext对DOM的封装...
2010-04-08 08:45:12
101
Extjs Grid简阅二
6. Edit-grid可编辑的grid，首先new 一个 EditorGridPanel，然后指定这个Grid的store，Columns Model，tbar，其中tbar加handler监听，store是用的xml存储方式，同样的指定url，reader。7. Gird-plugins展示了加了plugins的grid，其中主要有Ext.ux.grid.RowExpander，有...
2010-03-30 09:13:31
95
Extjs Grid简阅一
参考对象extjs3.0 exampleGrid基本上都是上来先new一个GridPanel（不是代码的上面哦），GridPanel里面主要包含Store, Columns其他一些属性，其中store主要是这个Grid的数据，Columns则是这个Grid的列（主要有id,header,width,sortable,dataIndex etc）。不同的Store造就了不同的Grid...
2010-03-29 16:06:01
98
ExtJs3.0 layout篇
主要是为了给自己做总结的，所以只贴了代码，如果有看不懂的还是请参照ExtJs3.0 的Example吧Accordion 上下，帘子效果[code="java"]Ext.onReady(function() { var item1 = new Ext.Panel({ title: 'Accordion Item 1',...
2010-03-26 15:26:50
129
新公司新环境Ext
:D 刚来新公司，又可以学新东西了，美好……又开始憧憬了……Ext听说过没用过，我会将自己从零开始的学习过程记录下来，以后给自己回忆 - -手头唯一的资料：extjs官网：http://www.extjs.com/extjs中文：http://extjs.org.cn/extjs IDE：MyEclipse6.5extjs debug：Firebugextjs de...
2010-03-26 09:59:42
87
原创 u盘变小或变成原来的一半解决方法
相信有很多朋友，都因使用USBOOT做系统启动盘，格式化u盘而导致u盘大小变小或变小一般：现在提出以下方法解决：解铃还须系铃人，打开USBOOT将设置调到“用0”重置参数，然后点击开始。完成之后你的u盘会变成0字节，但此时系统已经认识了你的U盘，用系统的格式化方法在格式化一遍就会变回你原来U盘的大小。希望对大家有帮助。
2008-05-13 12:10:00
2192
用户注册页面和信息修改页面
小弟在用WEBWORK写网页时要实现用户信息修改页面，可是不知道怎么写，感觉把注册页面拿过来，然后从数据库掉数据来填充应该可以，当没有实际例子不知道具体怎么弄，忘会的人指点（具体的话更好），谢谢！！！...
2007-09-24 07:54:04
2337
tomcat老是跳出debug界面
在外面启动tomcat没什么问题，但是在myeclipse中启动时，每次启动都会跳出thread.class的debug界面，启动一次之后再启动就不会跳出那个界面了，但重新绑定项目之后还是老样子，本人弄了一天，头疼....希望有人能解决...........
2007-09-16 11:05:33
270
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人