起步学习记录
文章平均质量分 93
qq_40729302
这个作者很懒,什么都没留下…
展开
-
Camunda与springboot集成入门实战
Camunda与soringboot集成入门案例。原创 2022-07-05 17:03:14 · 5881 阅读 · 0 评论 -
读BERT论文记录
最近阅读了提出BERT的论文,做一个简要的阅读记录,供大家和自己阅读。题目:BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding通过深层双向Transformer来提高语言理解能力摘要我们引入了一种新的语言表示模型叫做BERT,BERT代表了:Bidirectional Encoder Representations from Transformers。与最近的语言表示模型不同的是,BERT旨原创 2021-02-27 22:55:39 · 324 阅读 · 0 评论 -
迁移学习(Transfer learning)
本文参考https://lena-voita.github.io/nlp_course/transfer_learning.html迁移学习目前不论是在学术界还是工业界,迁移学习可能都是最流行的NLP领域。很可能你已经听说过了ELMo,BERT,和其他一些名字----在这篇文章后,希望你能有一个大致的了解。将知识从一个模型“迁移”到另一个一般的迁移学习的思想是将知识从一个任务/模型迁移到另外一个。例如:对于目前你感兴趣的任务没有大量的数据,如:分类。用你目前仅有的数据得到一个好的模型是很困难的。相反原创 2021-02-17 21:58:55 · 1609 阅读 · 0 评论 -
Transformer:Attention is all you need
声明:本文是学习https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html的笔记如果你对attention和seq2seq不了解最好了解一下在来看Transformer。seq2seq and attentionTransformer是在2017年在论文“Attention is all you need”中提出的。它只依赖于attention机制,不需要循环神经网络或卷积的参与。在有着更高的翻译质量并且模型速度提升了一个等.原创 2021-01-27 22:05:58 · 379 阅读 · 0 评论 -
Seq2Seq and Attention(二)
声明:本文是学习https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html的笔记,小伙伴也可以自行跳转学习原文。在之前的文章中我们介绍了什么是Seq2Seq,现在我们来介绍一下什么是Attention。Atteintion问题固定的编码器表示问题固定的源信息表示是不理想的:(1)对于编码器,压缩句子是困难的。(2)对于解码器,在不同的步中,不同的信息可能是不同相关性。在目前我们所看的模型中,编码器将所有的源句子压缩为一原创 2021-01-26 17:56:14 · 164 阅读 · 0 评论 -
seq2seq and Attention(一)
seq2seq and Attention(一)声明:本文为学习https://lenavoita.github.io/nlp_course/seq2seq_and_attention.html 的笔记。喜欢阅读英文原文的请自行跳转。最流行的sequence-to-sequence(序列到序列) 任务是翻译:也就是说从一个自然语言到另一个自然语言。如下图所示:在过去的几年中,商业系统在机器翻译方面变得出乎意料的出色,例如Google Translate,Yandex Translate,Deep T原创 2021-01-25 23:06:42 · 248 阅读 · 0 评论 -
语言模型(二)
接上篇文章神经语言模型在上一部分讲到的left-to-right语言模型中,一个token的概率是:现在我们再一次明确未完成的工作是:我们需要明确如何计算上式中的条件概率与n-gram是基于语料的统计信息来计算不同的是神经语言模型是通过“教”网络去预测这些概率。也就是说,训练一个神经网络去预测下一个可能出现的token。神经网络语言模型做了两件事情:1.处理前文------模型相关最主要的部分就是得到一个之前出现的文本的向量表示。模型就可以使用得到的向量对下一个token进行预测。这部分的原创 2021-01-16 23:19:19 · 550 阅读 · 0 评论 -
语言模型介绍(一)
本文翻译自ysda的自然语言处理课程课件,原文网址为:https://lena-voita.github.io/nlp_course/language_modeling.html如果想看原文可自行跳转。语言模型什么是"模型"想象一下我们在真实世界中有一个模型,我们会期望他能做什么?如果他是一个好的模型,那么他应该可以在给定上下文描述的情况下预测出将要发生什么。一个好的模型会模拟真实世界的行为,他将会“理解”哪个事件会更贴合现实世界的情况。什么是“语言”关于语言我们的直观上的感受都是相同的。不原创 2021-01-15 21:45:37 · 1350 阅读 · 0 评论 -
词嵌入( Word Embedding)——2
上次写到word2Vec中一次训练过程。训练一次需要更新的向量有Vcat 以及所有的Uw。这样一次训练成本似乎过于大,如何解决这个问题呢?快速的训练:负采样为什么我们必须在每个步骤中考虑词汇表中的所有上下文向量? 假设在当前步骤中,我们不考虑所有单词的上下文向量,而只考虑当前目标和几个随机选择的单词。 下图显示了差别。和以前一样,我们增加Vcat和Ucute之间的相似性。 所不同的是,现在我们不减少所有单词之间的上下文向量之间的相似性,而仅使用K个“负”示例的子集来减小它们之间的相似性。由于我们原创 2020-12-24 17:26:46 · 224 阅读 · 1 评论 -
词嵌入(word embedding)学习记录
为什么我们需要词嵌入我们人类可以很容易理解一句话,比如“I saw a cat .”。但是要模型或者算法直接理解这句话是困难的。所以我们需要用特征向量来代表我们所要输入到模型的单词。误区这里可能会有一个误区,词嵌入就是把词变为向量表示。提到词向量很多人就会想到“word2vec”。word2vec是google训练的词向量。他是Google的一个产品,词向量的一种,并不能全部的概括了词向量。此前一直将二者划等号。不能很明确的区分。不知道现在这样的理解对不对??词嵌入如何起作用在实际工作中,我原创 2020-12-22 16:37:08 · 859 阅读 · 0 评论 -
K交叉验证
初学阶段,当开始接触,这里记录一些自己的理解,如有不对的地欢迎各位大佬批评指正~~K折交叉验证k交叉验证可以用于模型好坏的评估,也可用于调参,使模型达到最优。KFold(n_splits=’warn’, shuffle=False, random_state=None)n_splits 表示划分为几块(至少是2)shuffle 表示是否打乱划分,默认False,即不打乱random_state 表示是否固定随机起点,当设置shuffle == True时使用,否则会有警告.KFold有两个方法原创 2020-10-20 19:28:16 · 2010 阅读 · 0 评论 -
python对数据的描述和一些预处理
学习添加链接描述的笔记首先读入一个数据作准备from pandas import read_csvfrom matplotlib import pyplotfilename='housing.csv'names=['1','2','3','4','5','6','7','8','9','10','11','12','13','14']#数据共14列,为每一列取一个名字data=read_csv(filename,names=names,delim_whitespace=True)#csv文件原创 2020-10-19 21:51:50 · 487 阅读 · 0 评论 -
python中常见类库及使用总结
1.from matplotlib import pyplot Matplotlib是python的一个绘图库,是Python中最常用的可视化工具之一。 matplotlib是受MATLAB的启发构建的,matplotlib有一套完全仿照MATLAB的函数形式的绘图接口。 matplotlib.pyplot模块中,这套函数接口方便MATLAB用户过度到matplotlib包。简述一下绘图过程:fig = pyplot.figure() #在任何绘图之前,需要一个Figure对象。Figure可原创 2020-10-14 10:42:06 · 914 阅读 · 0 评论