![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Neural Network
文章平均质量分 76
野营者007
csdn博客会更偏向于debug错误信息,会详细记录尝试安装软件、第三方库、研究新技术踩过的坑。
面试真题栏目只对粉丝开放。题目会包括笔试和面试,会尽可能还原当时的题目。
已经开始慢慢搭建自己的笔记体系,更多总结性的文章请移步https://csy99.github.io/Blog
展开
-
TorchScript的简介以及项目踩坑
TorchScript的简单介绍以及自己的踩坑。原创 2021-12-13 08:44:06 · 3558 阅读 · 0 评论 -
调用torchtext报错OSError: libtorch_cpu.so: cannot open shared object file: No such file or directory
环境torch版本1.4.0报错报错信息如题。调用torchtext报错OSError: libtorch_cpu.so: cannot open shared object file: No such file or directory解决方案报错是由于torch版本跟。根据torchtext安装官网https://pypi.org/project/torchtext/的信息,应该安装torchtext的0.5版本。不过,经过博主实验,使用0.6版本完全没有问题。...原创 2020-12-17 04:29:26 · 7954 阅读 · 6 评论 -
优化算法optimization:AdaDelta
AdaDelta算法提出动机除了RMSProp算法以外,AdaDelta算法的提出也是为了解决AdaGrad算法在迭代后期较难找到有用解的问题。算法AdaDelta算法也像RMSProp算法一样,使用了小批量随机梯度gtg_tgt按元素平方的指数加权移动平均变量sts_tst,这里的ρ\rhoρ类似RMSProp中的γ\gammaγ。但有意思的是,AdaDelta算法没有学习率这一超参数。另外,AdaDelta算法还维护一个额外的状态变量Δxt\Delta x_tΔxt,其元素同样在时间步0时原创 2020-12-15 06:24:37 · 441 阅读 · 0 评论 -
优化算法optimization:AdaGrad
AdaGrad算法提出动机在SGD的每次迭代中,目标函数自变量的每一个元素在相同时间步都使用同一个学习率来进行迭代。我们考虑一个二维输入向量x=[x1,x2]Tx = [x_1,x_2]^Tx=[x1,x2]T和目标函数$f(x) $。x1=x1−η∂f∂x1x2=x2−η∂f∂x2x_1 = x_{1} - \eta \frac {\partial f} {\partial x_1} \\\\x_2 = x_{2} - \eta \frac {\partial f} {\partial x_原创 2020-12-15 06:23:01 · 438 阅读 · 1 评论 -
优化算法optimization:RMSProp
RMSProp算法提出动机在AdaGrad的每次迭代中,因为调整学习率时分母上的变量sts_tst一直在累加按元素平方的小批量随机梯度,所以目标函数自变量每个元素的学习率在迭代过程中一直在降低(或不变)。因此,如果AdaGrad算法没有在前期找到较优解,在迭代后期由于学习率过小更难趋近最优解。RMSProp算法通过融合指数加权移动平均对这一点进行了改良。简单来说,RMSProp融合了动量法和AdaGrad的优点。算法对每次迭代做如下改动st=γst−1+(1−γ)gt∘gtxt=xt−1−ηs原创 2020-12-15 06:22:03 · 722 阅读 · 0 评论 -
优化算法optimization:Adam
Adam算法提出动机Adam算法在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均。算法给定超参数0≤β1<10 \le \beta_1 < 10≤β1<1(算法作者建议设为0.9),和超参数0≤β2<10 \le \beta_2 < 10≤β2<1(算法作者建议设为0.999)。对每次迭代做如下改动vt=β1vt−1+(1−β1)gtst=β2st−1+(1−β2)gt∘gtv_t = \beta_1 v_{t-1} + (1-\beta原创 2020-12-15 06:21:07 · 443 阅读 · 1 评论 -
优化算法optimization:SGD动量法momentum
动量法提出动机在SGD的每次迭代中,梯度下降根据自变量当前位置,沿着当前位置的梯度更新自变量。然而,如果自变量的迭代方向仅仅取决于自变量当前位置可能会带来一些问题。我们考虑一个二维输入向量x=[x1,x2]Tx = [x_1,x_2]^Tx=[x1,x2]T和目标函数f(x)=0.1x12+2x22f(x) =0.1x_1^2+2x_2^2f(x)=0.1x12+2x22。import numpy as npimport matplotlib.pyplot as plt# 目标函数d原创 2020-12-14 12:15:09 · 1480 阅读 · 0 评论 -
seq2seq
话说自称搞了这么久的NLP,我都还没有真正跑过NLP与深度学习结合的经典之作——seq2seq。这两天兴致来了,决定学习并实践一番seq2seq,当然最后少不了Keras实现了。seq2seq可以做的事情非常多,我这挑选的是比较简单的根据文章内容生成标题(中文),也可以理解为自动摘要的一种。选择这个任务主要是因为“文章-标题”这样的语料对比较好找,能快速实验一下。seq2seq简介 #...转载 2019-06-04 15:55:23 · 838 阅读 · 0 评论 -
Keras参数
earlystopfrom keras.callbacks import EarlyStoppingArgumentsmonitor: quantity to be monitored.The calculation of measures on the validation dataset will have the ‘val_‘ prefix, such as ‘val_loss...原创 2019-06-03 14:01:51 · 847 阅读 · 0 评论 -
新手探索NLP(十二)——文本聚类
简介聚类又称群分析,是数据挖掘的一种重要的思想,聚类(Cluster)分析是由若干模式(Pattern)组成的,通常,模式是一个度量(Measurement)的向量,或者是多维空间中的一个点。聚类分析以相似性为基础,在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。文本聚类其实也就是在文本方向上的应用,首先我们要把一个个文档的自然语言转换成数学信息,这样形成高维空间点之后再...原创 2019-05-28 11:21:12 · 3051 阅读 · 0 评论 -
新手探索NLP(十一)——知识图谱
转载自https://blog.csdn.net/JH_Zhai/article/details/79919604知识图谱根据 W3C的解释,语义网络是一张数据构成的网络,语义网络技术向用户提供的是一个查询环境,其核心要义是以图形的方式向用户返回经过加工和推理的知识而知识图谱技术则是实现智能化语义检索的基础和桥梁.传统搜索引擎技术能够根据用户查询快速排序网页,提高信息检索的效率,然而...转载 2019-05-28 11:04:41 · 3642 阅读 · 0 评论 -
新手探索NLP(十)——对话系统
转载自知乎https://zhuanlan.zhihu.com/p/50095779SLU1. 简介对话系统按功能来划分的话,分为闲聊型、任务型、知识问答型和推荐型。在不同类型的聊天系统中,NLU也不尽相同。1.1. 闲聊型对话中的NLU就是根据上下文进行意图识别、情感分析等, 并作为对话管理(DM)的输入;1.2.任务型对话中的NLU就是领域分类和意图识别、槽填充。他的...转载 2019-05-28 10:42:47 · 3190 阅读 · 0 评论 -
新手探索NLP(二)
ML CLassifier模块沿用上一篇的例子。此处的问题是垃圾邮件的分类,监督学习。1.Random Forest+ KFoldimport nltkimport pandas as pdimport refrom sklearn.feature_extraction.text import TfidfVectorizerimport stringstopwords...原创 2019-05-26 21:59:19 · 375 阅读 · 0 评论 -
新手探索NLP(三)
目录NLP语言模型词的表示方法类型1、词的独热表示one-hot representation简介不足2.词的分布式表示distributed representation 简介建模类型语言模型Word Embedding神经网络语言模型NNLMword2vecGloveEmbedding from Language M...原创 2019-05-27 14:05:42 · 726 阅读 · 0 评论 -
新手探索NLP(四)
学习NLP需要一个比较系统的概要。所以理论上这个应该写在第一篇。【NLP的技术概貌】NLP里细分领域和技术实在太多,根据NLP的终极目标,大致可以分为自然语言理解(NLU)和自然语言生成(NLG)两种。NLU侧重于如何理解文本,包括文本分类、命名实体识别、指代消歧、句法分析、机器阅读理解等;NLG则侧重于理解文本后如何生成自然文本,包括自动摘要、机器翻译、问答系统、对话机器人等。两者间不存...原创 2019-05-27 16:35:14 · 508 阅读 · 0 评论 -
新手探索NLP(五)
命名实体识别简介命名实体识别(NER)(也称为实体识别、实体分块和实体提取)是信息提取的一个子任务,旨在将文本中的命名实体定位并分类为预先定义的类别,如人员、组织、位置、时间表达式、数量、货币值、百分比等。通常包括两部分:(1)实体边界识别;(2) 确定实体类别(人名、地名、机构名或其他)。NER系统已经建立起来,使用基于语言语法的技术以及统计模型,如机器学习。手工制作的基于语法的系统...原创 2019-05-27 16:44:05 · 597 阅读 · 0 评论 -
新手探索NLP(十五)——终章
目录中文语音的机器处理汉语语言学的研究未登录词识别概率图模型信息熵互信息联合熵条件熵统计语言模型隐马尔科夫模型Viterbi算法最大熵模型最大熵原理GIS实现条件随机场模型概念:线性链条件随机场不同模型的比较与总结词性、语块和命名实体识别词性语块命名实体识别句法理论和自动分析理论基础句法分析...原创 2019-05-30 14:16:34 · 341 阅读 · 0 评论 -
新手探索NLP(六)——全文检索
全文检索技术——Lucene的介绍 本文我将为大家讲解全文检索技术——Lucene,现在这个技术用到的比较多,我觉得大家还是应该掌握一下,不说多精通,但是应该有所了解。在讲解之前,我们先来看一个案例,通过该案例引出全文检索技术——Lucene。案例实现一个文件的搜索功能,通过关键字搜索...转载 2019-05-28 09:25:50 · 1191 阅读 · 0 评论 -
新手探索NLP(七)——情感分析
简介文本情感分析(sentiment analysis),又称为意见挖掘,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。其中,主观情感可以是他们的判断或者评价,他们的情绪状态,或者有意传递的情感信息。因此,情感分析的一个主要任务就是情感倾向性的判断,情感倾向分为正面、负面和中性,即褒义、贬义和客观评价。研究初期,大量研究者都致力于针对词语和句子的倾向性判断研究,但随着互联网上大...原创 2019-05-28 09:43:24 · 5599 阅读 · 0 评论 -
新手探索NLP(八)——序列标注
转载自知乎https://zhuanlan.zhihu.com/p/50184092NLP中的序列标注问题(隐马尔可夫HMM与条件随机场CRF)Introduction序列标注问题(sequence labeling, also named as tagging)可以看作许多自然语言处理问题的前驱,如情感分析,信息检索、推荐和过滤等等。同时在自然语言处理中,许多的任务可以转化为“将输入...转载 2019-05-28 10:14:07 · 14571 阅读 · 0 评论 -
新手探索NLP(九)——文本摘要
转载自知乎https://zhuanlan.zhihu.com/p/67078700文本摘要是一种从一个或多个信息源中抽取关键信息的方法,它帮助用户节省了大量时间,用户可以从摘要获取到文本的所有关键信息点而无需阅读整个文档。文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要方法是指针对单个文档,对其内容进行抽取总结生成摘要;多文档摘要方法是指从包含多份文档的文档集合中生成一...转载 2019-05-28 10:35:33 · 13213 阅读 · 0 评论 -
新手探索NLP(一)
目录基础知识模块1. 概念2. 正则化表达Data Cleaning模块3. 去掉标点4. 切分词功能5. 去掉停止词6. Stemming & Lemmatizingstemminglemmatizing两者的异同Vectorizing模块7. Count Vectorization8. N-gram Vectorization...原创 2019-05-26 14:40:55 · 823 阅读 · 0 评论