- 博客(454)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 【哈佛大学】领导力心理学课程概要（第24节终语笔记）
第24节是对全部课程的摘要和总结，英文是原版笔记，中文部分基于豆包PC版进行翻译后精校得到。
2024-10-22 00:55:30
714
原创 Rerank进一步提升RAG效果
介绍了 RAG（Retrieval Augmented Generation，检索增强生成）with Rerank，并详细讲述了 Rerank 的必要性以及二阶段检索的流程。
2024-05-12 17:57:50
1611
2
原创 ES相关性计算原理
了解es搜索过程中的，对判断当前应用场景是否适合使用es来召回相关结果至关重要。本篇博文尝试对es在每一个节点执行搜索时如何计算query和经由倒排索引查询到的对应字段文本之间的相关性得分max_score做简要说明。
2024-05-04 16:05:43
1211
2
原创 ES常用查询方式
Elasticsearch（ES）作为功能强大的检索引擎，提供了多种查询方式，在不同的场景下需要选择合适的查询方式以取得最佳查询效果，本文列举了常见查询方式，并重点介绍了match查询方式。
2024-05-02 17:02:43
1671
2
原创 《非暴力沟通》 阅读随记
《非暴力沟通》是一本经典的讲解沟通方式的书，被很多人推荐过，抱着学习如何沟通这种功利的想法读这本书，但发现整本书的出发点不仅仅是沟通，而是希望我们能以爱的方式理解自己和他人的需要，并通过非暴力沟通的方式满足自己和他人的需要。下附笔记，原书在每章开头和结尾也都有总结，这里记录了对我来说比较重要的部分。。
2024-04-19 01:44:57
780
原创 NEFTune: 通过简单的噪声提升指令精调效果
NEFTune方法的原理仅使用一句话就可以描述清楚：在finetune过程的词向量中引入一些均匀分布的噪声即可明显地提升模型的表现
2023-11-16 22:33:42
1356
原创 Alpaca构建方式探秘：低成本构造指令数据增强LLM
Alpaca是斯坦福大学在Meta开源的大模型LLaMA 7B基础上使用自构建的52K指令数据重新训练得到的增强模型，它的数据构造和训练成本极低，总计约600美元（数据构建500美元+机器训练100美元），效果却逼近OpenAI的，这篇博客和大家一起学习下alpaca的构建方法。
2023-09-17 18:35:29
1370
原创 LangChain 手记 Conclusion结语
本系列短课展示了大量使用LangChain构建的大语言模型应用，包括处理用户反馈、文档上的问答系统甚至使用LLM来决定发起外部工具的调用（比如搜索）来回答复杂问题。使用LangChain的好处在于能很大程度上提升开发效率，仅需要适量代码，就可以实现复杂的llm应用。课程作者希望大家可以从中学习到一些idea，jupyter notebook的代码块也可以直接复制使用。
2023-08-19 10:27:26
220
原创 LangChain手记 Agent 智能体
前面都是使用LangChain已经内置的工具，下面介绍一个自定义工具的例子：注意：函数说明是必要的，它指定了函数的使用方式，这里要求time函数的输入为空串。
2023-08-18 01:14:56
822
原创 LangChain手记 Evalutation评估
基于LLM的应用如何做评估是一个难点，本节介绍了一些思路和工具。“从传统开发转换到基于prompt的开发，开发使用LLM的应用，整个工作流的评估方式需要重新考虑，本节会介绍很多激动人心的概念。
2023-08-17 22:58:23
653
原创 LangChain手记 Question Answer 问答系统
本节介绍使用LangChian构建文档上的问答系统，可以实现给定一个PDF文档，询问关于文档上出现过的某个信息点，LLM可以给出关于该信息点的详情信息。这种使用方式比较灵活，因为并没有使用PDF上的文本对模型进行训练就可以实现文档上的信息点问答。本节介绍的Chain也比较常用，它涉及到了嵌入（embedding）和向量存储（vector store）。
2023-08-16 01:46:10
2104
原创 LangChain手记 Chains
传入两个构建好的LLM Chain即可构建一个顺序链，第一个LLM Chain的输出是第二个LLM Chain的输入，同样也可以指定。的形式指定来实现的，写python的朋友估计已经习以为常了，其他语言的小伙伴可能需要点时间思考。顺序链是另外一种类型的链，它的基本思想是以一个链的输出是下一个链的输入这种方式组合的多个链。视频可能看不太清楚，整条链的输入输出的依赖关系是依靠每一个子链都设置一个。直译链，表达的意思更像是对话链，对话链的背后是思维链。，即可得到一个LLMChain对象，该对象的。
2023-08-15 01:25:46
1651
原创 LangChain手记 Memory
使用open ai的API调用GPT都是单次调用，所以模型并不记得之前的对话，多轮对话的实现其实是将前面轮次的对话过程保留，在下次对话时作为输入的message数组的一部分，再将新一轮对话的提问也放入message数组，再发起一次API调用，即构手动建对话流（以上笔者注）。方法构建对话历史（笔者注：此时对话历史中AI的回答是人为指定的，不是真实的GPT回复，这里是为了演示，实际使用时不推荐这么做，GPT的真实回复可能和指定的不同，并没有完全使用GPT）。内存储了所有的对话历史，不含输入提示词的其他部分。
2023-08-14 01:27:58
2742
原创 LangChain手记 Models,Prompts and Parsers
response.content结果是字符串类型，无法直接提取其中的信息，使用LangChain提供的解析器可以解析其中的变量。作为思维链推理（Chain-of-Thought Reasoning.(ReAct框架)）的关键词。LangChian库函数以假定输出包含某些关键字的方式解析大语言模型的输出。(推测35到38之间少了一些代码展示，参见LangChian API)也能直接实现目的，应该是在更复杂的场景使用的。调用LangChain使用。这个例子举得其实不好，
2023-08-14 00:11:38
1187
原创 LangChain手记 Overview
LangChain目前提供Python和JavaScript（TypeScript）两种语言的包。LangChain是为大模型应用开发设计的开源框架。LangChain的主攻方向是聚合和模块化。提示词 + 大语言模型 + 输出解析。提供超过20种更专注于应用的思维链。可以做为更长思维的构件模块使用。实现了50种以上的文档加载器。集成或实现了5种以上的检索器。实现了10多种文本分割器。集成了10多种向量存储。
2023-08-07 00:12:15
979
原创 LoRA: 大模型快速训练的秘诀
LoRA核心思路是对模型参数做低秩分解，仅训练分解后的参数，模型部署也需额外保存低秩参数，计算时加上低秩参数部
2023-07-13 00:31:12
1102
原创 大模型基础知识 - 语言模型及其演进 公开版
1. 概率语言模型设计用于计算一个句话在自然语言中出现的概率2. 语言建模（即训练语言模型的过程）：给定n个单词，预测第n+1个单词是什么。神经网络语言模型使用神经网络进行语言建模。3. 神经网络语言模型随着自然语言处理领域不断提出新的网络架构逐步演进，transformer是其中一个标志性里程碑。基于transformer，Google和Open AI分别提出了BERT和GPT 1.0/2.0.4. 随着参数量级继续增大，涌现能力出现，加上训练流程改进，大语言模型出时代到来。
2023-07-13 00:18:44
1236
原创 四两拨千斤，训练大模型的PEFT方法
截止目前（2023年7月），PEFT一共有三类方法，不同的方法在以不同的形式在固定预训练模型参数的前提下添加少量的新参数来实现对下游任务的适配。
2023-07-12 00:59:16
1560
原创 ChatGPT训练流程
ChatGPT训练流程：1. PreTraining 2. Instruction Finetuning 3. RLHF: Reward Modeling 4. RLHF: Reinforcement Learning
2023-07-10 15:02:40
3083
原创 大语言模型高效训练基础知识：优化器AdamW和Adafator
Adam优化算法很长一段时间都是比较主流的参数更新算法，也有很多变种，本文介绍在大模型训练过程中使用的AdamW和Adafator。
2023-07-09 00:41:00
3284
原创 大模型高效训练基础知识：fp16与混合精度训练
在计算激活值和梯度的时候以fp16精度存储，执行优化算法的时候还原为fp32（缺失位补0），这样最终的效果是模型在GPU上以fp16和fp32两种方式加载，这被称为混合精度训练（mixed precision training）
2023-07-08 11:25:20
2954
原创 大模型高效训练基础知识：梯度检查点（Gradient Checkpointing）
前向传播过程中计算节点的激活值并保存，计算下一个节点完成后丢弃中间节点的激活值，反向传播时如果有保存下来的梯度就直接使用，如果没有就使用保存下来的前一个节点的梯度重新计算当前节点的梯度再使用。
2023-07-08 10:30:55
7095
原创 大模型高效训练基础知识：梯度累积（Gradient Accumulationn）
梯度累积（Gradient Accumulation）的基本思想是将一次性的整批参数更新的梯度计算变为以一小步一小步的方式进行
2023-07-08 01:36:31
1634
原创 给开发者的ChatGPT提示词工程指南
基本大语言模型和指令精调大语言模型的区别：指令精调大语言模型经过遵从指令的训练，即通过RLHF（基于人类反馈的强化学习）方式在指令上精调过，因而更加有帮助，更加真诚，更不可能产生有害输出。clear不等于short，比较长的指令有可能时更加清晰的。Triple quotes: “”"Triple backtick ```Triple dashes: —Angle brackets: XML tags: 使用分隔符可以防止指令注入，即误把目标文本中的指令识别为指令，下图为例：HTML, J
2023-06-16 01:11:55
2755
原创 【哈佛积极心理学笔记】第23讲 收获交流
弹幕：“这个很有启发，不是说赞美、名誉不能带来快乐，而是期待其带来快乐是错误的期望”exotic 异国情调的，国外的。
2023-06-15 00:17:12
624
原创 【哈佛积极心理学笔记】第21讲 爱情与自尊
accolade 表扬 expedite 加快 intensify it 加强。narcissism 自恋 curriculum 课程。
2023-06-15 00:10:51
915
原创 【哈佛积极心理学笔记】第18讲 睡眠、触摸和爱情的重要性
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fZd9f5Dq-1686672969509)(en-resource://database/2732:1)]quiet desperation 安静的绝望 inertia 惯性。tactail 迟钝 autistic 患自闭症的。enervated 衰弱的。
2023-06-14 00:18:23
985
原创 【哈佛积极心理学笔记】第17课 运动与冥想
aerobic exercise has similar effect to some of our most powerful psychiatric(精神病) drugs.longitudinal 纵向的。Endorphins 内咖肽。
2023-06-14 00:17:07
723
原创 【哈佛积极心理学笔记】第15讲 完美主义
melleable 可扩展的 dominant modus operandi 决定性的惯常做法 intimacy 亲密 solicit 请求。Tangential 直来直去 consummate 典型的 rat racer 逐利者。
2023-06-14 00:15:09
843
原创 【哈佛积极心理学笔记】第16课 享受过程
Dysthymia(精神抑郁症) is usually longer lasting, but less acute form of depression(抑郁症). So it’s deep feeling of exercise. Also exercise help this.[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bulj8MOm-1686672850631)(en-resource://database/2730:1)]inoculation 一劳永逸。
2023-06-14 00:14:24
485
原创 【哈佛积极心理学笔记】第14讲 过犹不及
reprieve 缓刑，暂缓 ecstatic 欣喜若狂的 ecstasy 欣喜 prevasive 普遍的。charisma 魅力 profusely 大量地 methodical 条理的。threw my knapsack over the wall 破釜沉舟。affluence 充裕。
2023-06-14 00:13:54
635
空空如也
CentOS安装tomcat 9无法启动，配置有错误，怎么更改？
2016-10-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人