2020年12月_Litra LIN_CSDN博客

Litra LIN

码龄5年

270,874

总访问量
56

原创
1,639,128

排名
268

粉丝

IP 属地：广东省

查看详细资料

个人成就

获得453次点赞
内容获得59次评论
获得2,501次收藏
代码片获得4,216次分享
博客总排名1,639,128名

TA的专栏

兴趣领域设置

人工智能

机器学习深度学习神经网络自然语言处理tensorflowpytorchnlp数据分析

创作活动更多

王者杯·14天创作挑战营·第2期

这是一个以写作博客为目的的创作活动，旨在鼓励码龄大于4年的博主们挖掘自己的创作潜能，展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴，那么，快来参加吧！我们一起发掘写作的魅力，书写出属于我们的故事。注： 1、参赛者可以进入活动群进行交流、分享创作心得，互相鼓励与支持（开卷），答疑及活动群请见https://bbs.csdn.net/topics/619735097 2、文章质量分查询：https://www.csdn.net/qc 我们诚挚邀请你们参加为期14天的创作挑战赛！

66人参与去参加

搜TA的内容

文本表达：解决BERT中的各向异性方法总结

文章目录文本表达：从BERT-flow到BERT-whitening、SimCSE1、BERT-flowBERT表示存在的问题BERT-flow2、BERT-whitening向量的内积标准正交基方差与协方差whitening3、SimCSE文本表达：从BERT-flow到BERT-whitening、SimCSESentence Embeddings：即能表征句子语义的特征向量，获取这种特征向量的方法有无监督和有监督两种，在无监督学习中，我们首先会考虑利用预训练好的大型预训练模型获取[CLS]或对句子

发布博客 2022.01.31 ·

ESIM模型详解与Keras代码实现

文章目录ESIM模型1、input encoding2、Local Inference Modelling3、Enhancement of local inference information4、others5、Keras实现ESIM模型ESIM主要分为三部分：input encoding，local inference modeling 和 inference composition。首先什么是文本匹配，简单来说就是分析两个句子是否具有某种关系，比如有一个问题，现在给出一个答案，我们就需要分析这

发布博客 2022.01.29 ·

InferSent模型详解与Keras代码实现

文章目录概述原理概述传统的语句嵌入方法(sentence2vec)往往采用的是无监督学习方法，然而无监督的学习方法在较长语句向量的获得方面表现得不够优秀。在这篇文章中，我将介绍一种有监督得训练方法，原论文实验证明：这种方法要优胜于skip-thought方法（一种encoder-decoder模型）。原理1、训练集介绍本文采用的是Stanford Natural Language Inference Datasets，简称SNLI。SNLI包含570K个人类产生的句子对，每个句子对都已经做好了标签

发布博客 2022.01.28 ·

深度文本匹配概述

文章目录深度文本匹配概述文本匹配基于表示的模型基于交互的模型基于预训练模型BERT其他参考深度文本匹配概述文本匹配虽然文本匹配在BERT出现以前一直是以两类模型主导，但其实文本匹配时一个广泛的概念，在文本匹配下面还有许多的任务，正如下表所示1.复述识别（paraphrase identification）又称释义识别，也就是判断两段文本是不是表达了同样的语义，即是否构成复述（paraphrase）关系。有的数据集是给出相似度等级，等级越高越相似，有的是直接给出0/1匹配标签。这一类场景一般建模成分

发布博客 2022.01.26 ·

【论文阅读】SIF：一种简单有效句子编码方法

【论文阅读】SIF：一种简单却难以打败的句子编码方法

发布博客 2022.01.26 ·

百度千言-中文文本相似度实战

百度千言-中文文本相似度实战任务1：报名比赛，下载比赛数据集并完成读取步骤1 ：登录&报名比赛：https://aistudio.baidu.com/aistudio/competition/detail/45/0/task-definition步骤2 ：下载比赛数据集步骤3 ：使用Pandas完成数据读取。任务2：对句子对提取TFIDF以及统计特征，训练和预测参考代码：kaggle参考案例步骤1 ：对句子对（句子A和句子B统计）如下特征：句子A包含的字符个数、句子B包含

发布博客 2022.01.24 ·

网格搜索、随机搜索和贝叶斯调参总结与实践

网格搜索网格搜索时应用最广泛的超参数搜素算法，网格搜索通过查找搜索范围内的所有点，来确定最优值。一般是通过给出较大的搜索范围以及较小的步长，网格搜索时一定可以找到全局最大值或全局最小值的。但是网格搜索有一个较大的问题时：它十分消耗计算资源，特别是需要调优的超参数比较多的时候。因此在实践比赛中，需要调参的模型数量与对应的超参数比较多，而设计的数据量又比较大，因此相当消耗时间。此外，由于给出的超参数的组合比较多，因此一般都会固定多数参数，分布对1~2个超参数进行调节，这样能够减少时间但是难以自动进行。而且由

发布博客 2022.01.21 ·

coggle1-2月打卡之LightGBM实战

任务1：模型训练与预测步骤1 ：导入LightGBM库步骤2 ：使用LGBMClassifier对iris进行训练。步骤3 ：将预测的模型对iris进行预测。# 安装LightGBM!pip install lightgbm# 导入import lightgbm as lgbimport pandas as pdimport jsonfrom sklearn import datasets# 导入鸢尾花数据集iris = datasets.load_iris()iris.d

发布博客 2022.01.20 ·

Transformer结构详解

Transformer结构详解1.ransformer整体结构2.Transformer的输入2.1单词Embedding2.2 位置Embedding3.self-attention（自注意机制）3.1 self-attention结构3.2 Q，K，V的计算3.3self-atttention的输出3.4 Multi-Head Attention4.Encoder的结构4.1 Add & Norm4.2 Feed Forward4.3 组成Encoder5.Decoder结构5.1 第一个Mul

发布博客 2021.12.26 ·

15239 阅读 ·

详讲torch.nn.utils.clip_grad_norm_

Pytorch梯度截断：torch.nn.utils.clip_grad_norm_梯度裁剪：既然在BP过程中会产生梯度消失（即偏导无限接近0，导致长时记忆无法更新），那么最简单粗暴的方法，设定阈值，当梯度小于阈值时，更新的梯度为阈值（梯度裁剪解决的是梯度消失或爆炸的问题，即设定阈值），如下图所示：torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_type=2)函数定义：裁剪可迭代参数的渐变范数，范数是在所有梯度一起计算的，就好想

发布博客 2021.12.07 ·

TF-IDF算法详解与实践

TF-IDF算法文章目录TF-IDF算法1、TF-IDF算法介绍2、TF-IDF的应用3、怎么使用TF-IDF3.1 sklearn实现TF-IDF算法3.2 参数介绍4、TF-IDF的不足1、TF-IDF算法介绍TF-IDF（term frequency-invers document frequency，词频-逆向文件频率）是一种常用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。TF-IDF是一种统计方法，用于评估一字词对于一个文件集

发布博客 2021.12.01 ·

pytorch入门

60分钟入门教程什么是pytorch?pytorch是一个基于Python的科学计算包，它主要有两个用途：类似于Numpy但是能利用GPU加速一个非常灵活和快速用于深度学习的研究平台。TensorTensor类似于Numpy的ndarray，但是可以用GPU加速，使用前我们需要导入torch包。import torch# 下面代码构建一个5x3的未初始化的矩阵x = torch.empty(5,3)print(x)# 输出tensor([[9.9184e-39, 8.7245e-

发布博客 2021.11.29 ·

60858 阅读 ·

coggle11月打卡—pytorch与CV竞赛

任务1：PyTorch张量计算与Numpy的转换

发布博客 2021.11.02 ·

coggle11月打卡—Linux使用

coggle11月打卡任务任务1：使用命令行登录指定的Linux环境状态：已完成成果展示：配置本地登录环境：本人电脑是Window系统，因此下载了Xshell来学习。首先下载Xshell个人免费版，按照要求一步步安装即可。使用如下信息登录系统用户名：coggle，密码：coggle，IP：139.198.15.157任务2：在目录下创建文件夹、删除文件夹（1）在/home/coggle/目录下使用"mkdir LitraLin"命令创建LitraLin文件夹（2）进入

发布博客 2021.11.02 ·

近期反思与计划

思考、总结与反思背景最近感觉自己有时候状态在线，有时候状态不在线，在编写BERT的finetune代码时，自己的状态是在线的，但是在做其他事情时候，自己总是提不起劲，感觉自己下意识就不想去做那些事情，因此，写下这篇文章，思考自己在做什么的时候状态在线，而在做什么的时候状态不在线，以及各自的原因等。状态在线时编写BERT finetune代码在编写这一部分代码时，状态很好，很容易进入状态。原因：可能这部分的代码自己已经学了有段时间了，再进行编写并不是很难的任务，而我也更愿意花很长的时间在这里。状

发布博客 2021.10.24 ·

pytorch 中的with torch.no_grad()

pytorch 中的with torch.no_grad():在pytorch写的网络中，with torch.no_torch():非常常见。首先，关于python中的with：with语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的”清理“操作，释放资源，比如文件使用后自动关闭/线程中锁的自动获取和释放等。例如：file = open("1.txt")data =file.read()file.close()存在的问题如下：（1）文件读取发生异常，但没有进

发布博客 2021.10.22 ·

理解BERT中的optimization

理解BERT中的optimization引言最近参加的爱奇艺剧本情感分析大赛中，苦于对baseline调参无任何实质性的效果，在查阅了相关资料后，开始学习2019CCF的互联网新闻情感分析大赛的baseline代码。学习到optimization时，不太清楚每行代码的原理逻辑，因此查阅了BERT中关于optimization.py的源码，下面是这段时间查阅资料的总结。BERT中使用了AdamWeightDecayOptimizer，本来Adam都没太搞懂，现在又来个WeightDecay，一起学一下吧

发布博客 2021.10.21 ·

logging日志模块

logging日志模块因为最近学习的代码中使用到了logging模块，而logging的相关文档网上又多又杂，因此，我在B站上完成了logging模块的学习！下面是logging的简单介绍预备知识什么是日志？日志是一种可以卓总某些软件运行时所发生事情的方法。软件开发人员可以向他们的代码中调用日志记录相关的方法来表明发生了某些事情。一个事件可包含可选变量数据的消息来描述。此外，时间也有重要性的概念，这个重要性也可以被称为严重性级别（level）。日志的等级级别何时使用DEBUG

发布博客 2021.10.19 ·

半监督学习概述

一、半监督学习今天在阅读一篇论文时了解了这个之前一直不太清晰的概念。下面是查阅了相关资料后对半监督学习的理解。如有错误，望更正。半监督学习是一种介于监督学习和无监督学习之间的学习凡是，我们都知道，在监督学习中，样本的类比、类别标签都是已知的，学习的目的是找到样本的特征与类别标签之间的联系。一般来讲训练样本的数量越多，训练得到的分类器的分类精度也会越高。但是在很多现实问题当中，一方面是由于人工标记样本的成本很高，导致有标签的数据十分稀少。（如果是让算法工程师亲自去标记数据，会消耗相当大的时间和精力；也有很

发布博客 2021.10.19 ·

16642 阅读 ·

opencv-python实现虹膜瞳孔内外圆检测

一、霍夫变换本文主要介绍霍夫变换检测直线和圆的原理。霍夫变换是图像处理中从图像中识别几何形状的基本方法之一，应用很广泛，也有很多改进算法。主要用来从图像中分离出具有某种相同特征的集合图像（如，直线，圆等）。最基本的霍夫变换是从黑白图像中检测直线（线段）。1、直线检测1.1 直线的表示方式对于平面中的一条直线，在笛卡尔坐标系中，常见的有两点式，点斜式表示方式。然而在Hough变换中，考虑的是另外一种表示方式：使用(r,θr,\thetar,θ)来表示一条直线。其中，r为该直线到原点的距离，来表示一条

发布博客 2021.10.18 ·