- 博客(21)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Langchain 流式输出到前端（真正解决方法，附最佳实践的完整代码）
当我们深入使用Langchain时，我们都会考虑如何进行流式输出。尽管官方网站提供了一些流式输出的示例，但这些示例只能在控制台中输出，并不能获取我们所需的生成器。而网上的许多教程也只是伪流式输出，即先完全生成结束，再进行流式输出。实际上，这个方法非常简单，但是在文档和网上教程中确实很难找到。我花费了半天的时间研究了Langchain的源码，才发现可以通过以下方式实现。方法来之不易，如果您有所收获，请。
2023-09-10 14:11:45
6905
30
原创 深度学习 pytorch 困惑度计算方法
以下是我 编写的 计算 困惑度 PPL的 代码根据困惑度的定义：PPL=ecross_entropyPPL=e^{cross\_entropy}PPL=ecross_entropy其中cross_entropycross\_entropycross_entropy 就是交叉熵损失 因此只需要对 交叉熵损失求exp()注意：F.cross_entropy的参数 reduction必须要为 mean 即默认 就为 Meanfrom torch import Tensorimport numpy a
2021-01-21 23:27:39
3329
1
原创 F1值(F-Measure)、准确率(Precision)、召回率(Recall) 菜鸡版理解
F1值(F-Measure)、准确率(Precision)、召回率(Recall) 菜鸡版理解
2022-11-06 13:09:16
4553
1
原创 修改huggingface 模型output_hidden_states=True时，CUDA out of memory问题。
在使用huggingface 提供的Trainer进行模型预测时，如果训练时output_hidden_states=True，则显存占用会无限增加，最终导致CUDA out of memory 内存溢出错误。在模型的最终返回值处，把hidden_states 设置为None 即可，具体原因我也不清楚。
2022-10-07 16:33:32
1032
原创 Bert实现命名实体识别NER任务 Trainer类实现
Bert实现命名实体识别任务使用Transformers.trainer 进行实现1.加载数据加载数据以及数据的展示，这里使用最常见的conll2003数据集进行实验task = "ner" # Should be one of "ner", "pos" or "chunk"model_checkpoint = "distilbert-base-uncased"batch_size = 16from datasets import load_dataset, load_metric,Data
2022-05-13 20:41:29
5089
7
原创 关于Transformers库预训练模型输入的一些细节问题
输入是否需要添加开始标志[bos]、bos等特殊标志？结论：开始标志[bos]不需要手动添加，模型自动帮你添加，结束标志[eos]必须添加具体原因可以往下看1.输入是否需要添加开始标志[bos]、bos等特殊标志？在RNN的时代，对于Seq2Seq模型，我们必不可少的要对数据进行处理添加 开始标志[ bos ]和 结束标志[ eos ],这样做的目的是在解码阶段模型进行自回归语言模型时，模型可以收到一个结束标志[ eos ]，并且解码的输入开始标志[ bos ]，以确保模型不看到第一个真实的词。
2022-04-14 09:58:48
839
原创 问答系统案例----基于Bert实现知识库问答
问答系统案例----基于Bert实现知识库问答基于Transformers.Trainer实现任务描述:知识库问答也叫做知识图谱问答，模型结合知识图谱，对输入的问题进行推理和查询从而得到正确答案的一项综合性任务。知识图谱问答方法可分为两大类，一种是基于信息检索的方式，一种是基于语义解析的方式。信息检索的方式不需要生成中间结果，直接得到问题答案，十分简洁，但是对复杂问题的处理能力有限。语义解析的方式需要对输入的自然语言问题进行语义解析，再进行推理，具备解决复杂问题的能力。本教程选用信息检索的方式进行讨论
2022-04-10 22:03:28
4443
原创 重构预训练模型后加载参数
# 加载相同state_dictdef load_same_state_dict(myself_model: nn.Module, pretrain_model: nn.Module): pretrain_dict = pretrain_model.state_dict() myself_dict = myself_model.state_dict() # 当模型中的某层是同时在两个模型中共有时才取出 pretrain_dict = {k: v for k, v in p
2022-03-27 18:22:08
355
原创 多头注意力机制的通俗式理解
各位都很忙，废话不多说直接上图。首先 Q K V 均来自同一个数据，假设 我们有同一个 输入数据 a,则Q = Linear（a）K = Linear（a）V = Linear（a）其中，三个 Linear（·）并非同一个，拥有不同的参数。Q 代表 query – 查询， K 代表 key – 键， V 代表 value – 值我们目的 是从同一个 数据 a 中生成 含义为： 查询 某一个 键 对应的 权重，然后使用这个 权重 乘以 值 得到 经过权重分配后的 数据
2021-11-19 10:43:11
5076
原创 华为移动应用引擎 虚拟化异常解决办法
直奔主题，虚拟化设置异常，特别是Win10需要关闭 Hyper-V， Hyper-V是微软自家的虚拟机。Hyper-V 会导致 虚拟化被占用，导致华为移动引擎无法正常和cpu虚拟化进行通信。解决办法：控制面板——>程序——>启动或关闭Windows功能取消掉 Hyper-V前面的 选中 再点击 确定 即可 随后会经理一个重启过程。...
2021-09-14 16:00:46
6755
7
原创 零售商品销售预测
研究、设计内容：在电子商务业务蓬勃发展的同时，零售业遭遇了寒潮。电子商务的冲击、瞬息万变的经济环境、难以捉摸的销售情况和日益冷清的大型卖场，都给零售业带来了重重困难。进入数字时代后，数据的有效使用成为零售企业颠覆传统的动力，也势必将改变零售业的格局。沃尔玛等大型零售商都积极第将数据分析与商业结合，创造了额外的经济收益。某大型零售商的数据科学家收集了不同城市10家商店1539种商品在2013年的销售数据，还定义了每个产品和商店的某些属性。本课题将的目的是建立一个销售预测模型，使得公司可以预测每个产品在特
2021-07-01 19:42:59
2658
11
原创 机器学习答案
机器学习答案选择题自行尝试答案 这里粘贴部分答案线性回归第2关 线性回归的正规方程解#encoding=utf8 import numpy as npdef mse_score(y_predict,y_test): ''' input:y_predict(ndarray):预测值 y_test(ndarray):真实值 ouput:mse(float):mse损失函数值 ''' #********* Begin ********
2021-06-26 16:51:32
8817
6
原创 交叉熵损失理解（代码对比版）
import torchfrom torch.nn.functional import cross_entropyimport numpy as npimport randomdef fix_random_seed(seed): # 设置 seed保证每次初始化相同 np.random.seed(seed) torch.manual_seed(seed) random.seed(seed) torch.backends.cudnn.determinist.
2021-06-21 17:20:14
311
原创 Attention机制理解（参考代码和理论）
Attention机制(全局和局部attention)1 .Luong Attention（全局attention）基于注意力机制的解码解码器RNN一个词语一个词语地产生回复句子，它利用编码器得到的上下文向量以及每个时间步的隐向量来产生句子的下一个词语。它一直产生词语直到产生句子结束符号EOS_token。仅仅使用标准RNN做解码器，会使得模型丢失掉丰富的编码端信息，因为整个句子的信息都被保存到一个上下文向量中。考虑到人们在对话时，回复语句中的每个词语会和输入语句中的不同部分的词语相关，那么在模型解
2021-03-04 20:22:42
2069
1
原创 国内真正的免费GPU算力（学习人工智能的福利）
国内免费GPU算力1. 百度：飞桨PaddlePaddlehttps://ai.baidu.com/support/news?action=detail&id=981点击打开 每天送12小时 连续五天送48小时2. 华为: ModelArtshttps://activity.huaweicloud.com/2020ModelArts_Promotion.html?ch=1点击打开免费规格用...
2020-08-23 21:28:02
14378
原创 Linux安装MySQL无法连接navicat等IDE工具解决办法（新手）
Linux安装MySQL后 在root权限下不需要输入密码 但是Navivat无法正常连接 解决办法：为MySQL数据库创建个普通用户 (例如 admin )并为普通用户设置密码 然后授予用户admin所有权限 连接navicat时只可以使用普通用户 (因为Navicat 软件无法获取管理员权限 所以无法正常连接)...
2018-12-21 15:34:55
1215
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人