- 博客(115)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 检索增强生成RAG系列8--RAG提升之评估
在论文中，针对前面四种能力和三种质量分散，给出来传统指标如何去评价这几种能力。但这并不是RAG评估的最好的方案，在论文中，提出目前更好的评估基准和工具，基准的主要贡献在于构造指标和数据集，可以评估RAG各方面基本能力，一些典型基准如RGB、RECALL、CRUD等。RAG评估的工具大多数采用大模型进行评估，典型如RAGAS 、ARES和TruLens等。
2024-07-05 14:01:50
770
原创 检索增强生成RAG系列7--RAG提升之高级阶段
系列5中讲到会讲解3个方面RAG的提升，它们可能与RAG的准确率有关系，但是更多的它们是有其它用途。本期来讲解第三部分：高级阶段。之所以说是高级阶段，可能是不好归一，而且实现起来相对于前面来说可能更为复杂。在系列4中讲到问题优化的方法RAG-Fusion，里面提到了它与Multi-Query最后不同就是使用RRF对结果进行重排。其实重排是一种提高RAG问题准确率很好的方法，但是之所以没有放入RAG优化，而放入RAG提升，主要考虑2方面，其一是它其实算是一套流程中一个中间操作，在问题优化方法中也有提到过，不
2024-07-05 14:01:04
886
原创 检索增强生成RAG系列6--RAG提升之查询结构内容（Query Construction）
在系列3文档处理中，我们着重讲解了文档解析，但是我们说的文档都是大部分是非结构化的文档或者说它就是以一个文档的形式存储。而现实中我们很多有价值的数据可能以结构化（关系型数据库、图形数据库等）或者半结构（关系型数据库、文档数据库等）的形式存储中，并且这些数据一般都是存储于特定数据库，那么如果数据存储在结构化或者半结构化中，我们RAG又该如何与之配合。这一章就着重来讲讲结构化查询（Query Construction）
2024-07-02 13:27:09
911
原创 检索增强生成RAG系列5--RAG提升之路由（routing）
在系列3和系列4我讲了关于一个基本流程下，RAG的提高准确率的关键点，那么接下来，我们再次讲解2个方面，这2个方面可能与RAG的准确率有关系，但是更多的它们是有其它用途。本期先来讲解RAG路由。
2024-07-02 13:24:27
946
原创 检索增强生成RAG系列4--RAG优化之问题优化
方法描述场景通过生成更多角度的问题针对问题模糊时RAG-fusion在Multi-Query基础上，在检索文档结果后增加RRF重排针对问题模糊时HyDE使用大模型生成假设性答案，再使用答案去查询相似度，而不是原始问题用户问题和语义不在一个空间将问题分解为子问题，再通过并行或串行方式获得答案针对复杂问题或者需要逻辑推理问题Step-back使用few-shot方式，让大模型基于原始问题提出更为抽象问题针对复杂问题。
2024-06-30 18:34:15
1108
原创 检索增强生成RAG系列3--RAG优化之文档处理
在上一章中罗列了对RAG准确度的几个重要关键点，主要包括2方面，这一章就针对其中一方面，来做详细的讲解以及其解决方案。
2024-06-30 18:31:46
1087
原创 检索增强生成RAG系列2--提高RAG准确度的关键点
本章中我们通过更为详细的描述RAG整体架构流程图，并一一分析了里面对于RAG准确度的影响。文档处理和问题优化。接下来几章可能真的这些部分做出详细的一些优化策略的解决方案，同时也会总结一些实战经验。
2024-06-27 16:45:39
1082
原创 检索增强生成RAG系列1--RAG的实现
大模型出现涌现能力之后，针对大模型的应用也如雨后春笋般。但是，在大模型真正落地之前，其实还需要做好最后一公里，而这个最后一公里，其中不同应用有着不同的方法。其中prompt、微调和RAG都是其中方法之一。本系列就是针对RAG从入门到落地应用的流程。
2024-06-27 16:44:13
594
原创 基于transformers框架实践Bert系列6-完形填空
本系列用于Bert模型实践实际场景，分别包括分类器、命名实体识别、选择题、文本摘要等等。（关于Bert的结构和详细这里就不做讲解，但了解Bert的基本结构是做实践的基础，因此看本系列之前，最好了解一下transformers和Bert等）本篇主要讲解应用场景。本系列代码和数据集都上传到GitHub上：https://github.com/forever1986/bert_task。
2024-05-21 17:01:20
1308
1
原创 基于transformers框架实践Bert系列4-文本相似度
本系列用于Bert模型实践实际场景，分别包括分类器、命名实体识别、阅读理解、多选选择、文本摘要等等。（关于Bert的结构和详细这里就不做讲解，但了解Bert的基本结构是做实践的基础，因此看本系列之前，最好了解一下transformers和Bert等）本篇主要讲解应用场景。
2024-05-17 16:45:23
1218
原创 基于transformers框架实践Bert系列3-单选题
本系列用于Bert模型实践实际场景，分别包括分类器、命名实体识别、阅读理解、多选选择、文本摘要等等。（关于Bert的结构和详细这里就不做讲解，但了解Bert的基本结构是做实践的基础，因此看本系列之前，最好了解一下transformers和Bert等）本篇主要讲解应用场景。
2024-05-17 16:44:56
1042
原创 基于transformers框架实践Bert系列2--命名实体识别
本系列用于Bert模型实践实际场景，分别包括分类器、命名实体识别、机器阅读、多选选择、文本摘要等等。（关于Bert的结构和详细这里就不做讲解，但了解Bert的基本结构是做实践的基础，因此看本系列之前，最好了解一下transformers和Bert等）本篇主要讲解命名实体识别应用场景。
2024-05-17 16:44:22
1114
原创 基于transformers框架实践Bert系列1--分类器（情感分类）
本系列用于Bert模型实践实际场景，分别包括分类器、命名实体识别、机器阅读、多选选择、文本摘要等等。（关于Bert的结构和详细这里就不做讲解，但了解Bert的基本结构是做实践的基础，因此看本系列之前，最好了解一下transformers和Bert等）本篇主要讲解。
2024-05-17 16:43:38
1012
原创 医院信息化-6 大模型与医疗
大多数人对大模型的了解只是知道ChatGPT-3、ChatGPT-3.5、ChatGPT-4、文心一言3.5等大模型，并且其功能就是能够聊天对话。其实大模型不是一个，哪怕是ChatGPT-3也存在多个大模型，如果你有用过ChatGPT的API，你就会了解到ChatGPT的API就有很多个。这时候会存在疑惑就是这些大模型都是干什么的？下面通过大模型分类和国内外一些常见大模型让你认识一下大模型一些基本内容。
2023-12-26 22:34:25
1263
1
原创 云架构的思考5--云上组织架构
之前已经详细讨论云上架构的一些方法论，那么其中提到了需要做思维改变、文化改变等，企业的组织架构也需要对于云做出一些改变。我们知道一个企业的组织架构有时候很大的体现其执行能力，我们经常调侃IBM将一个箱子从二楼搬到三楼需要多少步，其实在说的就是组织架构的复杂会容易导致办事效率底下。在云计算普及下的企业也会存在这样一种情况，不止我们要将技术迁移到云，我们的组织架构、企业文化也需要与云匹配。这里单独拿出来说，云上组织架构有哪些需要改变和注意的。
2023-12-15 14:18:13
741
原创 云架构的思考4--云上灾备
之所以灾备单独拿出来讲是因为灾备比较重要，更是因为灾备在云上做起来会容易的多并且不需要付出太大的代价就能可以对你多种方案的试验。但我们知道灾备更多的是要应付出现极端情况下的系统不可用，也知道RPO和RTO越低，对于灾备的成本也就越高。我们通过对云部署模式、应用、数据等几个方面详细讲了云上灾备模式，希望对你在云架构设计上有所帮助。
2023-12-14 14:49:55
1273
原创 云架构的思考3--云上开发
开发是一门细腻活，云上开发可以理解是一种基于不同环境不同机制下的新的开发方式，但是又不脱离原先的开发，只不过是在原先的开发基础上增加了其适配云上特点的特殊性，因此这方面还需要多加积累，这里只是阐述本人在云上开发的一些常见问题的经验。
2023-12-07 12:26:45
1226
原创 云架构的思考2--云上架构
前面一章我们了解了云计算的特点、服务模式、部署模式，现在这一章我们主要讲基于云上做架构设计。架构设计主要为了符合我们的需求，同时需要具有一定的合理性和前瞻性。本章基于个人做过的不同项目云架构过程总结，包括执行步骤以及经验总结。
2023-12-06 11:38:34
1181
原创 云架构的思考1--云计算有什么不同，为什么上云
云计算这个词提出来已经很久（大概在2006年），在10年前听到这个东西，都说是一个未来趋势。现在这个东西已经不是一个未来趋势，而是已经渗入到方方面面的一个服务，现在一个中小型的创业公司信息化都会优先选择云；任何一个架构师都需要熟悉云上架构的一些内容。那么这一章我们先来讲一下云计算有什么不同以及为什么要上云。云计算的定义也是比较模糊，有几个不同版本，但是我们不需要太在意它的定义，我们只需要知道它的目的：就是将云计算服务如水电一般让我们使用，我们只需要按需使用，不需要则关闭即可。
2023-12-02 20:12:18
1427
原创 AWS SAP-C02教程0--考试指南课程
SAP是亚马逊云的解决方案架构师专业级认证，关于本课程，我会简述已下3点：- 在本课程中按照自己的分类讲述考试相关的**AWS产品**，特别会注明每个产品在考试中可能出现的**考点**- 会对一些**解决方案**做对比，通过一些对比给出**不同场景下的选择**- 在课程中插入实际的考题，并给出答案和答案解析（**题目超过300条**，包含到目前为止**90%的考题**，并且答案准确率在**95%**以上）
2023-11-05 22:05:11
1111
原创 AWS SAP-C02教程7--云迁移与灾备（DR）
整个迁移过程往往都是多种迁移方案的组合，可能有些重构、有些保留、有些废弃。这个需要根据具体场景来确定，但是通过6R的体系让你对迁移云的方案有个整体的了解，对于遇到的迁移问题有一个解决方案。
2023-10-19 18:03:04
1032
原创 医院信息化-5 集成平台和数据中心
每个做集成平台和数据中心的厂商都有自身的优势，有的追求评级、有的追求低成本、有的追求技术。无论哪一种都会在其中找到生存需求。因此一个集成平台和数据中心如何做技术选型都是参照公司本身的优势和目标定制的，并无完美的答案，以上仅仅是个人在医疗行业的见闻，仅供参考，如有错误之处，望请慷慨指出。
2023-03-29 12:27:07
2842
原创 医院信息化-4 趋势与技术应用
总的来说，医疗行业是一个政策性较强的行业，随时都需要关注国家政策，关注行业动态。在医疗信息化方面，相对于互联网、金融等领域来说是比较落后，但是它也一直在跟随主流技术，或许它应用会慢一些，但是永远不会缺席。医疗信息化也即将进入数字化阶段，未来将会有更多发展。这就是我对医疗信息化的趋势和一些技术在医疗行业应用的见解，仅代表我个人的想法，不对之处敬请纠正。
2023-03-24 12:55:17
1862
原创 医院信息化-3 医院场景的评测和标准
为了促进医院的信息化建设，国家会定制很多标准及评测，会影响医院的等级及医保等实质利益，因此在医疗软件行业中，往往做医疗软件公司都会关心评测标准，下面列举一些医院常见与软件建设相关的评测。
2023-03-22 18:09:25
482
原创 医院信息化-2 信息系统主要厂家
前文简述了医院信息化的一些常见的软件系统，那么接下来要讲述目前国内的一些厂商。由于医院信息化软件系统算是技术含量不高（除开大数据科研一块以及医疗设备），这里医院信息化软件指的大多还是前文所说的软件。门槛较低，甚至出现某些免费、开源的系统，因此导致医疗软件公司特别多。国内的医疗软件厂商有几个特点：1）客户区域性。华北、华中、华西、华东、华南，甚至省份内部都会出现大大小小几十家公司，他们的客户基本上会呈现区域性特点2）细分领域。
2023-03-22 16:54:08
736
原创 医院信息化-1 信息系统概况
以上是基于2大模块业务应用和信息平台对医院的常见信息系统做了简单介绍，当然其中并非固定是这样子，这里面更多的是多年医疗行业经验和业界常见做法，医疗行业信息化门槛较低，因此竞争较为激烈，经常呈现区域性的特点，因为五花八门的系统将功能划分为四分五裂也是常有的事情。
2023-03-22 12:30:26
2077
原创 稳定性建设落地实践
可参考第4部分指标，当然那只是整体的指标，后续的落地一些事项也要定义指标与之关联。举个例子，比如以数据库为例，可以定义一个100分制的健康指标，可根据数据库的CPU、内存、慢SQL、警告、大表个数等综合得分，然后将改100分制的健康指标作为稳定性建设的一项子指标，当出现不健康比如设定80分以下，则警告，60分以下则为不稳定。
2023-03-20 21:06:47
370
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人