机器学习
文章平均质量分 58
hit56笔记
持续学习NLP
展开
-
onnxruntime不使用GPU,怎么办
先卸载onnxruntime和onnxruntime-gpu,再重新安装onnxruntime-gpu。原创 2022-08-26 21:17:13 · 1800 阅读 · 1 评论 -
LSTM一般最多堆叠多少层
在大规模翻译任务的经验中,简单的堆叠LSTM层最多可以工作4层,很少工作6层,超过8层就很差了。原创 2020-07-03 09:55:30 · 10806 阅读 · 4 评论 -
深度学习一些基础常识概念
准确率(Accuracy)——分类器正确分类的样本数与样本总数之比,就称为准确率,即(TP+TN)/(TP+TN+FP+FN)先验概率可理解为统计概率,后验概率可理解为条件概率。1)先验——根据若干年的统计(经验)或者气候(常识),某地方下雨的概率;2)似然——下雨(果)的时候有乌云(因/证据/观察的数据)的概率,即已经有了果,对证据发生的可能性描述;3)后验——根据天上有乌云(原因或者证据/观察数据),下雨(结果)的概率;原创 2022-06-19 14:44:13 · 1606 阅读 · 0 评论 -
卷积神经网络CNN笔记
cnn原创 2022-06-18 11:31:32 · 472 阅读 · 0 评论 -
交叉熵损失函数
原创 2022-05-30 17:14:48 · 91 阅读 · 0 评论 -
什么生成对抗网络GAN、强化学习
参考文献:https://wenku.baidu.com/view/435d66f8cd1755270722192e453610661fd95ace.html原创 2022-05-27 08:44:40 · 1417 阅读 · 0 评论 -
sbert笔记
一、sbert是啥意思挛生网络Siamese network(后简称SBERT),其中Siamese意为“连体人”,即两人共用部分器官。SBERT模型的子网络都使用BERT模型,且两个BERT模型共享参数。当对比A,B两个句子相似度时,它们分别输入BERT网络,输出是两组表征句子的向量,然后计算二者的相似度;利用该原理还可以使用向量聚类,实现无监督学习任务。参考文献:https://www.jianshu.com/p/3b1bad16c351........................原创 2022-05-24 14:49:46 · 1670 阅读 · 0 评论 -
bert笔记
BERT是Bidirectional Encoder Representations from Transformers的缩写。bert其实就是由多层的Transformer Encoder堆叠成的,所谓的Bidirectional其实也就是Transformer中的self-attention机制。或者也可以说是Self-Attention Layer和Layer Normalization的堆叠而成。原创 2022-05-18 06:57:50 · 2214 阅读 · 0 评论 -
基于bert的分类笔记
样本不均衡问题就是指在做文本分类时发现,训练数据中的样本类别分布差异极大,有的类别占比超过90%,有的类别占比连0.01%都不到。原创 2022-05-17 11:40:48 · 1080 阅读 · 0 评论 -
对抗训练笔记
对抗样本:对输入增加微小扰动得到的样本。旨在增加模型损失。对抗训练:训练模型去区分样例是真实样例还是对抗样本的过程。对抗训练不仅可以提升模型对对抗样本的防御能力,还能提升对原始样本的泛化能力。参考文献:https://blog.csdn.net/MrR1ght/article/details/116936760...原创 2022-05-17 10:34:15 · 416 阅读 · 0 评论 -
对比学习笔记
通过构造正例对和负例对,并减少正例对之间距离,增大负例对之间的距离,借此获得一个文本或者图片更好的表示向量。对比学习的一个重要问题是如何构造正样本对,即通过 x 构造出 x+,有点类似数据增强。在图像领域这相对容易,通过对图像进行翻转、裁剪、加噪音、缩放等方式即可构造,而文本相对会难一些。常见的文本数据增强方式有删除词组、替换近义词、互译等方式。但是这些方式都是离散的,有时效果并不理想,因此 SimCSE 通过 Dropout 的方式构造正样本对。原创 2022-05-15 17:30:26 · 1592 阅读 · 0 评论 -
模型部署——如何提高大模型的线上推理速度
通过onnxruntime框架优化,在原有数据上面测试模型推理速度提升7倍List item原创 2022-02-25 14:37:49 · 1508 阅读 · 0 评论 -
python、anaconda、Pytorch、TensorFlow、CUDA、gcc的对应版本关系表
举个例子,假设你想安装python2.7.14,在表格中找到它,它下方的三个anaconda包(anaconda2-5.0.1、5.1.0、5.2.0)都包含python2.7.14;这是因为tensorflow的版本和python的版本有如下的对应关系,你要安装正确的python版本,才能安装你想要的tensorflow版本。(我的版本:python3.6.4,tensorflow-gpu为1.10.1,cuda版本为9.0)表格中,python版本号下方的离它最近的anaconda包就是包含它的版本。原创 2021-04-14 20:32:28 · 22520 阅读 · 3 评论 -
AUC是咋算的
AUC的本质含义反映的是对于任意一对正负例样本,模型将正样本预测为正例的可能性 大于 将负例预测为正例的可能性的 概率原创 2020-06-22 17:06:25 · 6869 阅读 · 0 评论 -
transformer相比lstm的优势
原创 2020-06-21 20:34:46 · 7144 阅读 · 2 评论 -
为啥ReLU比sigmoid或者tanh更好
原创 2020-06-21 20:00:38 · 632 阅读 · 0 评论 -
安装cuda10.0时报错,切记别安装OpenGL
Installing the NVIDIA display driver…The driver installation has failed due to an unknown error. Please consult the driver installation log located at /var/log/nvidia-installer.log.可以重新执行sh cuda_10....原创 2018-12-17 11:34:20 · 12044 阅读 · 2 评论 -
Gbdt 迭代决策树入门教程
GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力(generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。GBD转载 2016-05-24 17:31:48 · 968 阅读 · 0 评论