- 博客(7)
- 收藏
- 关注
RSS订阅原创 RAG文档分块（Chunk）的策略和检索召回优化阶段重排序方法
RAG可以总结成如下步骤，本次我们探讨文档分块（Chunk）的策略，以及检索召回优化阶段重排序方法。：这是最常见的分块方法，通过设定块的大小和是否有重叠来决定分块。这种方法简单直接，不需要使用任何NLP库，因此计算成本低且易于使用。：常见的HTML、MARKDOWN格式，或者其他可以有明确结构格式的文档。这种可以借助“结构感知”对文档分块，充分利用文档文本意外的信息。：这种策略旨在确保每个分块包含尽可能多的语义独立信息。
2024-09-18 10:10:54
1419
原创 Dify学习使用
检索（Retrieve）：根据用户的查询，从预先构建的知识库中检索出相关的文档或信息片段。增强（Augment）：将检索到的信息与用户的原始查询结合起来，形成一个新的增强查询。生成（Generate）：使用大型语言模型，基于增强查询生成答案。RAG解决了什么问题？引入RAG技术的主要原因是为了解决大型语言模型（LLM）在特定领域知识更新、专业性问题以及生成内容时效性方面的局限性。以下是引入RAG技术的几个关键原因：暂时无法在飞书文档外展示此内容减少模型幻觉。
2024-09-12 09:37:08
1061
1
原创 大模型微调参数说明
学习率（learning rate）学习率是指控制模型参数更新步长的超参数。学习率决定了在每次参数更新时权重应该调整的幅度，从而影响模型在训练过程中的收敛速度和最终性能。因此，在AdamW优化器中，学习率是一项关键的超参数，需要仔细选择和调整以确保模型获得良好的收敛性能和最终表现。学习率参数数值参考5e-5：这个学习率适合于相对较大的数据集或复杂的模型，因为较大的学习率可以更快地收敛，尤其是当训练数据为大规模数据集时。
2024-08-28 13:48:39
865
原创 Android bug排查
报错很明显提示receiver没有被注册，receiver被注册和注销注册需要成对出现否则就会报错，排查问题一直以为是因为自定义的广播没有顺序注册和注销注册，见这篇博客。，最后是因为再onstop中取消注册wifi监听广播，而之前注册wifi监听广播已经被注释掉了，因此。即使没有被用到也需要注册和取消注册成对出现。学习利用广播实现强制登录下线的活动时报错。可以会被一些无端代码影响功能。
2024-07-23 10:06:48
192
原创 Caused by: java.io.FileNotFoundException: C:\Users\Mi\.gradle\caches\transforms-4\d07d0cc4e986497635
当gradle构建你的项目时，它似乎会为你在项目的build.gradle文件中作为依赖项列出的每个AAR文件创建一个相应的.gradle/cache/transforms-1/files-1.1你的dependency.aar目录。其中的每个子目录都应该包含jar/classes.jar文件(包含依赖项的所有java类文件)，以及包含打包jar文件的所有其他Android资源的res目录。再重新启动项目的时候这个错误，打开缓存中transform-4文件 发现目录下是有这个文件的，但提示找不到文件。
2024-07-22 10:50:21
457
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人