- 博客(595)
- 资源 (21)
- 收藏
- 关注
原创 Obsidian+llama3:终于搭建了自己的知识库
Obsidian 的 Smart Connections,超出了我原本的预期,于是结合新模型非常方便地搭建了我的个人知识库。
2024-05-19 17:35:48 589
原创 论文阅读_大模型优化_YOCO架构
提出名为 YOCO 的 Self Decoder + Cross Decoder 架构。主要用于优化大型语言模型,其特点是只缓存一次键值对。
2024-05-19 17:32:42 1017
原创 为啥现在用大模型这么便宜
这两篇论文都是五月初提交 arxiv 的,实验结果证明,改进 KV 存储后可以解决 GPU 内存的瓶颈问题,从而降低成本。
2024-05-19 17:28:36 667
原创 五行命令搭建llama3环境
本文将介绍 ollama+llama3 的最基本的安装和使用方法。只要你的 GPU 和 Docker 环境可用,基本上只需不超过五行的命令就能完成(实际上可能只需要一行)。
2024-05-19 17:25:20 839
原创 论文阅读_使用有向无环图实现流程工程_AgentKit
前几天,和朋友讨论了如何让 Agent 自我构建知识体系,自我进化。刚好看到了这篇论文,作者对 Agent 结构进行了更为深入和丰富的思考,并提出了流程工程,或者思维工程的概念。
2024-05-05 16:08:24 1069
原创 论文阅读_RAG融合现有知识树_T-RAG
开发一个可以安全、高效地回答私有企业文档问题的大型语言模型(LLM)应用程序,主要考虑数据安全性、有限的计算资源以及需要健壮的应用程序来正确响应查询。
2024-05-05 16:07:10 1091
原创 CAMEL:大型语言模型社会的“心智”探索沟通代理
以往的工作流程主要通过人与 LLM 的交互来控制。文中作者使用一个 Agent 来取代人的计划和决策,而另一个 Agent 负责执行具体的操作。
2024-04-29 17:39:08 1200
原创 开源项目实现简单实用的股票回测
尝试用 50 行代码完成一个简单的股票回测工具。输入的数据是 A 股的股票代码和时间,通过工具抓取股票数据。然后编写了策略,并使用回测工具来展示策略在数据上的具体操作和盈亏。
2024-04-21 10:43:10 929
原创 开源AI程序员SWE-Agent的实现方法
一个类似功能的产品 SWE-Agent 开源,在 SWE-Bench 上实现了与 Devin 类似的效果。
2024-04-07 15:29:52 1055
原创 强化学习+大模型_总结篇
将生成和强化学习结合起来是解决这个问题的一种思路,强化学习通过奖励函数直接或间接地为模型提供有监督的判定标准。因此,在大模型中引入强化学习可以提升其判断能力。
2024-03-24 11:05:59 877
原创 大模型+强化学习_通过强化学习对齐大模型和环境
由于知识与环境不一致,通用的大型语言模型(LLMs)经常无法解决简单的决策任务。相反,强化学习(RL)智能体从头开始学习策略,与环境保持一致,但很难结合先验知识进行有效探索。本文旨在结合两个优势。
2024-03-23 16:54:36 1172
原创 大模型+强化学习_在线交互调参_GLAM
旨在对齐大型语言模型(LLM)的知识与环境,并研究这种对齐对提高在线强化学习任务的效率以及提升不同形式的泛化的影响。
2024-03-23 16:52:27 769
原创 大模型+强化学习_利用AI反馈扩展强化学习_RLAIF
探索使用 RLAIF (RL from AI Feedback (RLAIF) 方法替代 RLHF 方法,以提高大型语言模型与人类偏好的一致性。
2024-03-23 16:48:19 792
原创 开源项目_搭建对象存储服务MinIO
MinIO 是一个开源的对象存储服务器,与 Amazon S3 兼容。它的设计目标是为大规模数据工作负载提供简单、安全和高性能的存储。
2024-03-17 14:55:23 969
原创 论文阅读_参数微调_P-tuning_v2
作者提出了 P-Tuning,设计了一种连续可微的 virtual token(同 Prefix-Tuning 类似)。将 Prompt 转换为可以学习的 Embedding 层,用 MLP+LSTM 的方式来对 Prompt Embedding 进行处理。
2024-03-17 14:53:43 1056
原创 Gemini 初体验
同样需要科学上网。速度很快,而且还不要钱,据说使用太多可能被限流。对于小语种翻译效果比 GPT-4 好,其它还没测试。可通过 ChatBox 界面调用,也可使用 Python 调用。
2024-03-07 20:47:41 855
原创 论文阅读_世界模型
目标:建立世界模型,学习压缩空间内的时空表示。通过使用从世界模型中提取的特征作为智能体的输入,训练智能体完成具体任务。方法:以无监督的方式快速训练一个非常紧凑和简单的策略,可以解决具体问题。甚至可以完全在它自己的幻觉梦境中训练智能体,并将其中产生的世界模型,应用到实际环境中。结论:通过训练代理,表明使用文中的世界模型可以提高对世界的表征能力。
2024-03-07 20:43:38 1068 1
原创 论文阅读_语音识别_Wisper
Whisper 是 OPENAI 提供的语音转文字的引擎,它是一个开源工具,在自己的 GPU 机器上也能搭建。Wisper 是一个多语音识别引擎,简单用过,感觉对中文识别还是很好的。下面介绍 Whisper 的实现原理。
2024-02-17 16:55:30 1184
android文件管理器源码
2011-07-06
2010年谢彦的android笔记
2011-01-18
android将lib库打包成apk安装
2010-11-18
Android使用XML-RPC实现blog客户端源码
2010-10-29
MSN博客搬家工具的可执行程序和源码
2010-10-21
学习java编程(二)
2009-10-13
学习java编程(一)
2009-10-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人