- 博客(175)
- 收藏
- 关注
RSS订阅原创 LaWGPT—基于中文法律知识的大模型
知识问答数据集针对Self-Instruct的可靠性和安全性漏洞，使用了基于特定知识的Reliable-Self-Instruction：通过提供具体的法律知识文本，先让ChatGPT生成与该段法律知识内容与逻辑关系相关的若干问题，再通过“文本段-问题”对的方式让ChatGPT回答问题，从而使ChatGPT能够生成含有法律信息的回答，保证回答的准确性。：法律对话模型，构造 35w 高质量法律问答数据集，基于 Chinese-alpaca-plus-7B 指令精调后的模型。
2024-02-21 18:03:16
2896
原创 ChatLaw：基于LLaMA微调的法律大模型
北大团队发布首个的中文法律大模型落地产品ChatLaw，为大众提供普惠法律服务。模型支持文件、语音输出，同时支持法律文书写作、法律建议、法律援助推荐。
2024-02-01 16:15:43
2297
原创 FinBert模型：金融领域的预训练模型
在本次基线测试中，我们以金融场景中所遇到四类实际业务问题和数据入手进行对比实验，包括金融类短讯类型分类任务、金融文本行业分类、金融情绪分析任务以及金融类实体识别任务。对比 FinBERT 和 Google 原生中文BERT、 BERT-wwm、RoBERTa-wwm-ext 这三种通用领域的预训练模型可知，FinBERT效果提升显著，在 F1-score 上平均可以提升2~5.7个百分点。
2024-01-25 18:21:28
2480
原创 FinGPT——金融领域开源大模型
大型语言模型（LLMs）展示了在不同领域中革新自然语言处理任务的潜力，引发了金融领域的极大兴趣。获取高质量的金融数据是金融语言模型（FinLLMs）面临的首要挑战。虽然像这样的专有模型利用了其独特的数据积累优势，但目前需要一些开源的替代方案，以实现互联网规模的金融数据的民主化。在本文中，我们介绍了一个针对金融行业的开源大型语言模型FinGPT。与专有模型不同，FinGPT采用了以数据为中心的方法，为研究人员和实践者提供了可访问和透明的资源来开发他们的FinLLMs。我们强调了。
2024-01-04 22:49:51
4327
1
原创 Think-on-Graph—基于知识图谱的LLM推理
由IDEA研究院、微软亚洲研究院、香港科技大学等多方研究团队合作推出的Think-on-Graph技术，在深度推理领域掀起了一场革新。
2024-01-02 15:44:15
1798
原创 BloombergGPT—金融领域大模型
在金融领域任务上，BloombergGPT综合表现最好；在通用任务上，BloombergGPT的综合得分优于相同参数量级的其他模型，并且在某些任务上的得分要高于参数量更大的模型。这都说明，开发金融专用的大语言模型在金融领域取得好效果的同时，并没有以牺牲模型通用能力为代价。
2023-12-27 22:37:30
3408
原创 KnowLM知识抽取大模型
KnowLM 是由浙江大学NLP&KG团队的在读博士生研发并开源的项目，是一种将LLM与知识图谱结合的知识抽取大模型，主要包含的任务有命名实体识别（NER）、事件抽取（EE）、关系抽取（RE）。围绕知识和大模型，用构建的中英双语预训练语料对大模型如LLaMA进行全量预训练基于知识图谱转换指令技术对知识抽取任务，包括NER、RE、IE进行优化，可以使用人类指令来完成信息抽取任务用构建的中文指令数据集（约1400K条样本），使用LoRA微调，提高模型对于人类指令的理解。
2023-12-22 11:38:47
2935
原创 HuatuoGPT模型介绍
HuatuoGPT（华佗GPT）是香港中文大学（深圳）和深圳市大数据研究院的王本友教授团队训练并开源了一个新的医疗大模型，以使语言模型具备像医生一样的诊断能力和提供有用信息的能力。HuatuoGPT的核心是在监督微调阶段利用来自ChatGPT的提取数据和来自医生的真实世界数据。ChatGPT的回答虽然具有流畅性和全面性，但它在一些方面不能像医生一样表现，例如在综合诊断方面。
2023-12-19 13:12:49
1919
原创 DISC-MedLLM—中文医疗健康助手
DISC-MedLLM 是一个专门针对医疗健康对话式场景而设计的医疗领域大模型，它可以满足您的各种医疗保健需求，包括疾病问诊和治疗方案咨询等，为您提供高质量的健康支持服务。项目由复旦大学数据智能与社会计算实验室 (Fudan-DISC)开发并开源。来试用模型。效果展示用户在感到身体不适时，可以向模型问诊，描述自身症状，模型会给出可能的病因、推荐的治疗方案等作为参考，在信息缺乏时会主动追问症状的详细描述。比如：出现腹泻和发烧的症状。可能得了什么病？
2023-12-15 17:05:13
1416
原创 ChatGLM3-6B模型介绍及微调
对 ChatGLM3-6B-Base 的测试中，BBH 采用 3-shot 测试，需要推理的 GSM8K、MATH 采用 0-shot CoT 测试，MBPP 采用 0-shot 生成后运行测例计算 Pass@1 ，其他选择题类型数据集均采用 0-shot 测试。官方对 Base版提供的是基于Lora的微调。不同的部署方式，第一种只有Chat 对话模式，第二种将对话模式，工具模型和代码解释器模型进行了集成。转换后，context是对话的上文，也就是模型的输入，target是对话的下文，也就是模型的输出。
2023-12-14 15:10:51
15913
16
原创 LLM与知识图谱的协同与互补
论文地址：Unifying Large Language Models and Knowledge Graphs: A Roadmap自从2017年Transformer提出后，Bert系列、GPT系列及T5等在大规模语料库上预训练的大型语言模型已经可以在一些自然语言处理任务上发挥很好的效果了，如：文本分类，机器翻译，摘要生成，命名实体识别，智能问答等。随着模型规模的急剧增长，如GPT3、PaLM等模型具有数百上千亿的参数量，LLM进一步获得了涌现能力，可以解决更多更加复杂的任务，比如优秀的上下文学习能力，
2023-12-01 12:20:54
1846
原创 基于Langchain-Chatchat的知识库问答系统
Langchain-Chatchat项目是一种利于langchain思想实现的基于本地知识库的问答应用，是一个可以实现完全本地化推理的知识库增强方案，具有重点解决数据安全保护，私域化部署的企业痛点的能力。本文主要对构建一个基于Langchain-Chatchat的知识库问答系统，可能存在的问题以及相关改进方案的说明。使用默认配置时，虽然上传文档可以实现基础的问答，但效果并不是最好的，通常需要考虑以下几点原因。会出现检索出的部分结果与问题相关性不大的情况，甚至还会出现对某些问题检索不到的情况。
2023-11-14 18:14:53
2635
原创 Text embedding 模型总结
目前，随着的火热，除了层出不穷的大模型外，因为检索的能力会很大程度影响最终的问答效果，文本的嵌入模型也是大家比较关注的。本文主要介绍效果较好的几种文本嵌入模型。
2023-10-08 18:10:25
8738
原创 Stable Diffusion中的ControlNet插件
ControlNet 的中文就是控制网，本质上是Stable Diffusion的一个扩展插件，在2023年2月份由斯坦福大学的研究人员开发出来的，能够使创作者轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定扩散微调方法。为什么需要ControlNet？
2023-09-01 18:12:01
1485
原创 Stable Diffusion 提示词技巧
Stable Diffusion是一个基于Latent Diffusion Model（LDM）的文生图AI模型，核心思想就是通过不断调整图像的隐式表示，逐渐接近真实图像。其具体实现方式是，将初始噪声向量通过一个潜空间网络转换为图像的隐式表示。然后，针对每个时间步，利用扩散过程逐渐优化该表示，使其逼近真实图像的隐式表示。最终，通过一个反向变换，将该隐式表示转换为生成的图像。相比传统的生成模型，Stable Diffusion生成的图像质量更高、速度更快、成本更低。
2023-08-31 18:53:24
3811
原创 基于医疗领域数据微调LLaMA——ChatDoctor模型
ChatDoctor是一款使用LLaMA模型并结合医学知识进行训练的医疗助手，研究人员先收集了50多万条真实医患对话，然后使用这些数据对LLaMA模型进行微调。ChatDoctor不仅具备流畅的对话能力,在医疗领域的理解和诊断也达到了很高的水平。用户只需描述症状，ChatDoctor就会像真人医生一样询问其他症状与体征，然后给出初步诊断和治疗建议，而且完全开源免费！当然，ChatDoctor只是一个AI助手，不能完全替代人医生，但在常见病症诊断方面，它已经表现已经非常不错了。
2023-08-18 16:44:48
2070
7
原创 基于LoRA微调部署Stable Diffusion【免费试用阿里云】
Stable Diffusion 是一种文本到图像的潜在扩散模型，由 Runway 和慕尼黑大学合作构建，第一个版本于 2021 年发布。目前主流版本包含 v1.5、v2和v2.1。它主要用于生成基于文本描述得详细图像，也应用于其他任务，如修复图像、生成受文本提示引导的图像到图像的转换等。本文主要讲解如何免费在**阿里云交互式建模（PAI-DSW）**中基于LoRA微调并部署 Stable Diffusion。
2023-07-25 17:56:36
2213
3
原创 基于LoRA进行Stable Diffusion的微调
微调时只需要使用以下命令运行 train_text_to_image_lora.py 文件即可。需要根据下载的路径文件地址对相应的参数进行修改，如。样本数据量为883，这里设置了train_batch_size为2，max_train_steps为7500，数据集一共883条样本，包含两个部分：image（图）和 text（文），如下图所示。也可以根据GPU资源调整相应的参数，如。显存占用约11个G，训练时长约8个小时左右。使用git clone命令下载数据集。
2023-07-25 15:32:33
4214
5
原创 Meta 最新发布 LLaMA 2（允许商业化）
LLaMA 2相比LLaMA最大亮点之一是允许商业化，但需要注意的是如果使用LLaMA 2的企业月活人数超过7亿，将需要向Meta申请特定的商业许可。Llama-2-chat 模型还接受了超过 100 万个新的人类注释的训练，使用来自人类反馈的强化学习来确保安全性和帮助性。2023年7月18日，Meta 发布了LLaMA 2，包含7B，13B，70B三种参数（34B暂时还未发布）。的34B、70B模型采用分组查询注意力（GQA），代替了MQA和MHA，主要是考虑效果和易扩展性的权衡。
2023-07-19 11:36:47
835
原创 LLM模型微调方法及经验总结
在现在这大规模语言模型（LLM）盛行的时代，由于模型参数和显卡配置的因素，预训练基本是大公司或者高校可以完成的事情，而对于小公司或个人，则只能对LLM进行微调，也就是说微调少量或额外的模型参数，固定大部分预训练模型（LLM）参数，从而大大降低了计算和存储成本，同时，也尽可能实现与全量参数微调相当的性能。本文总结几种主流的微调方法，主要包括Freeze方法、P-tuning方法、Lora方法和Qlora方法。
2023-07-10 17:22:34
5884
原创 LLM模型中英文评测基准
为推动LLM在医疗领域的发展和落地，华东师范大学王晓玲教授团队联合阿里巴巴天池平台，复旦大学附属华山医院，东北大学，哈尔滨工业大学（深圳），鹏城实验室与同济大学推出PromptCBLUE评测基准, 对CBLUE基准进行二次开发，将16种不同的医疗场景NLP任务全部转化为基于提示的语言生成任务,形成首个中文医疗场景的LLM评测基准。MMLU 是包含 57 个多选任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，是目前主流的LLM评测数据集。
2023-07-06 11:21:24
1963
原创 baichuan-7B模型介绍及微调
2023年6月15日，搜狗创始人王小川创立的百川智能公司，发布了70 亿参数量的中英文预训练大模型——baichuan-7B。baichuan-7B 基于 Transformer 结构，在大约 1.2 万亿 tokens 上训练的 70 亿参数模型，支持中英双语，上下文窗口长度为 4096。
2023-07-04 19:16:58
6127
4
原创 ChatGLM2发布，位居C-Eval榜首!
ChatGLM-6B自2023年3月发布以来，就已经爆火，如今6月25日，清华二代发布（ChatGLM2-6B），位居C-Eval榜单的榜首！
2023-06-30 14:34:47
1177
原创 Langchain-ChatGLM：基于本地知识库问答
ChatGLM-6B 是⼀个开源的、⽀持中英双语的对话语⾔模型，基于 General LanguageModel (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。
2023-06-06 19:33:36
15200
6
原创 Chinese-LLaMA-Alpaca代码实战
将alpaca-combined下的文件都放到7B目录下后，执行下面的操作。工具为例，介绍无需合并模型即可进行本地化部署的详细步骤。使用text-generation-webui搭建界面。我们进一步将FP16模型转换为4-bit量化模型。将合并后的模型权重下载到本地，然后传到服务器上。会显示：7B tokenizer.model。会生成ggml-model-f16.bin。1、先新建一个conda环境。实验效果：生成的中文较短。
2023-05-25 19:14:32
3990
5
原创 alpaca-lora微调
预训练模型：decapoda-research/llama-7b-hf 会自动下载。共计33个405M的bin文件，大约占用约14G内存。如果报错，不能创建链接，降低下gradio版本即可，如：pip install gradio==3.13。设置generate.py文件，将share=True，便于公网访问。微调过程预计需要60个小时，占用显存约9个G。该数据基于斯坦福alpca数据进行了清洗。由于微调时间较长，这里直接后台运行。效果如下，显存占用约8个G。1、将项目下载到本地。
2023-05-25 18:42:10
601
2
原创 指令微调数据集整理
第一期总共发布了 5 个子数据集，包括翻译指令、考试指令、人类价值观对齐指令、反事实修正多轮聊天、Leetcode指令，总计 191k 数据，聚焦中文语料、数据类型多样、经过了人工质检与修正、数据质量可靠，而且可以商用。经过人工精调的中文对话数据集，加入除了alpaca之外的其他中文聊天对话 人工微调，部分并不中文化的问题，我们将重新询问chatgpt或文心一言，重新获取回答并覆盖掉alpaca的回答.52K 条指令中的每一条都是唯一的,答案由text-davinci-003模型生成得到的。
2023-05-25 17:07:06
5360
原创 基于ChatGLM-Med与HuaTuo的微调部署
如何基于领域知识对类ChatGPT模型进行微调，以提升类ChatGPT模型在领域的问答效果？有下面两个模型，一起来看看微调后的效果如何。: 基于中文医学知识的ChatGLM模型微调：基于中文医学知识的LLaMA微调模型。
2023-05-06 12:31:20
3154
18
原创 ChatGLM-6B微调与部署
ChatGPT所展现出的强大能力，足以使许多行业发生翻天覆地的变化，而通过微调及部署较小的模型，在一些垂直领域达到和ChatGPT相近的效果，显得尤为重要。本文从模型参数，中文，微调难度等多角度考虑，选取了ChatGLM-6B模型来进行实验，主要分为3个部分：基于ChatGLM-6B的部署，基于peft框架的LoRA微调ChatGLM-6B，基于P-Tuning v2微调ChatGLM-6B（官方）。
2023-05-05 14:58:25
9038
17
原创 MiniGPT-4部署过程
修改最后一行代码，把服务器IP加进去就好 ，如下：demo.launch(server_name=“xx.xxx.xxx.xxx”, share=True, enable_queue=True)在 minigpt4/configs/models/minigpt4.yaml中，第16行修改刚刚下载权重的路径，我这里放到。参考：https://github.com/Vision-CAIR/MiniGPT-4/issues/117。我这里是单GPU，所以 --gpu-id设置为0。
2023-05-04 19:09:52
2983
4
原创 【self-instruct方式生成语料代码实战】
2023年3月14日，斯坦福发布了，该模型是对Meta的LLaMA &B进行了微调，且只花费了不到600美元。其中，微调过程：在8个80GB A100上训练了3个小时，不到100美元；而微调所用数据是使用OpenAI的API，通过self-instruct方式生成的52K指令数据，花费了500美元。self-instruct是一种将预训练语言模型与指令对齐的方法。可以通过模型自己来生成数据，而不需要大量的人工标注。
2023-04-27 14:50:23
6612
11
原创 文本匹配之SimCSE模型
目录前言模型结构模型原理模型训练特别说明模型效果参考前言论文全名：SimCSE: Simple Contrastive Learning of Sentence Embeddings论文地址：https://aclanthology.org/2021.emnlp-main.552.pdf论文收录于EMNLP2021。论文提供的代码（pytorch）：GitHub - princeton-nlp/SimCSE: EMNLP'2021: SimCSE: Sim..
2022-04-29 18:03:57
9388
原创 文本匹配之Sentence Bert模型
文章目录前言Bert句向量表示效果为什么不好？Sentence Bert 原理前言目前，对于大部分的NLP任务来说，通过对预训练模型进行微调的方式已经取得了很好的效果，但对于某些特定的场景，我们常常需要的是文本的表示，比如文本聚类，文本匹配（搜索场景）等等；在进行文本匹配任务时，在计算语义相似度时，Bert模型需要将两个句子同时进入模型，进行信息交互，假如有10000个句子，找出最相似的句子对，需要计算（10000*9999/2）次，非常耗时。而Sentencebert可以预先将标准库中的问题预先离线
2021-09-26 19:01:51
4761
4
原创 Leetcode-树
Leetcode-链表文章目录Leetcode-链表二叉树的中序遍历（94E）二叉树的层序遍历（102M）二叉树的前序遍历（144E）二叉树的后序遍历（145E）二叉树的中序遍历（94E）94. 二叉树的中序遍历难度：【简单】方法一：递归树本身就有递归的特性，因此递归方法最简单，这里直接放上代码，需要说明的是，中序遍历，前序遍历和后序遍历可采用相同的代码模板完成实现。代码如下：class Solution: def inorderTraversal(self, root: TreeN
2021-07-23 10:53:10
210
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人