![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
lucas_ch
这个作者很懒,什么都没留下…
展开
-
深度学习-softmax回归原理和实现
softmax回归输出单元为多个,单层神经网络,输出层为全连接层神经网络图运算矢量计算表达式softmax回归的权重和偏差参数分别为样本特征features输出层输出概率分布为矢量计算表达式为小批量样本分类的矢量计算表达式交叉熵损失函数交叉熵衡量两个概率分布的差异图像分类数据集 Fashion-MNISTfrom mxnet.gluon import data as gdataimport sysimport timemnist_train=gdat原创 2020-12-26 21:26:58 · 540 阅读 · 0 评论 -
nlp 机器翻译Machine Translation
机器翻译Machine Translation挑战歧义词序指代Interlingua翻译中间组件系统,设计非常困难但是每个语言分解世界概念都有不同的方式Parallel corpora 平行语料不同语言之间的句子对,即一种语言的一个句子相应翻译到另一种语言的一个句子,可监督噪声信道理论p(e)p(e)p(e)评估语言合理性IBM Model 1IBM Model 2Phrase-Based Models...原创 2020-12-20 18:31:53 · 429 阅读 · 0 评论 -
nlp 语法解析Parsing
语法解析Parsing解析树s支配了整个子串[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ipNJQPav-1608460079812)(语言模型Language Model.assets/image-20201213153658256.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jfNLs8Zd-1608460079815)(语言模型Language Model.assets/image-20201213153800110原创 2020-12-20 18:29:35 · 1337 阅读 · 0 评论 -
线性回归深度学习原理与实现
线性回归线性关系以x1 和x2 估计y值,故训练ω\omegaω和b三个参数损失函数 loss function均值表示模型质量优化算法求出适合的参数,尽可能降低损失函数小批量随机梯度下降神经网络图此为单层神经网络此输出层中的神经元与输入层中各个输入完全连接,所以此输出层叫全连接层或稠密层矢量计算表达式两个向量的加法中,矢量相加比各个元素单独相加快很多,故转为矢量计算其中损失函数写为小批量随机梯度下降的迭代步骤写为梯度写为线性回归程序编写from原创 2020-12-20 12:48:46 · 193 阅读 · 1 评论 -
文本分类
文本分类常见的文本分类模型训练集->特征工程->分类器特征工程文本预处理去除异常符号、分词、去除停用词特征提取文本表示Bag of Words(One hot). TF-IDF. TextRank词袋模型Bag of wordsOne hot 把词对应位置的数值改为1,其他为0TF-IDFTF:衡量一个词在文档中出现的多频繁IDF:log(文档总数/含有t的文档总数)TF-IDF=TF*IDF分类器朴素贝叶斯、LR、SVM朴素贝叶斯条件概率 P(A|B)=P原创 2020-12-20 12:37:38 · 127 阅读 · 1 评论 -
梯度
梯度概念导数derivate偏微分partial derivate,指定导数方向梯度gradient ,偏导数的向量梯度反映函数变化趋势增长方向和增长速度(箭头方向和长度)如何搜索极值解不平滑,有多个局部极大极小值鞍点影响因素初始点步长learning rate,应设置小一点,影响速度和精度逃出局部极小值escape minima,惯性常见函数的梯度求导激活函数Activation Functionssigmoid/logistictanhReLU原创 2020-12-20 12:36:55 · 82 阅读 · 1 评论 -
NLP预备知识
NLP预备知识1.语言学基础2.机器学习/深度学习算法pytorch3.语言模型计算概率各单词为随机变量,计算全概率,转换为计算条件概率,转换为2(N)阶马尔可夫(只与该单词前两个单词有关)N越大频次越小区别力越大,N越小频次越大参数估计的可靠性越高模型评估度量:混乱度Perplexity模型训练词向量4.序列标注Tagging标注词性(开放类,封闭类)–POS标注问题:POS歧义,可能出现频次低但不能忽视命名实体识别难点:未登录词5.句法分析Pa原创 2020-12-20 12:33:25 · 112 阅读 · 1 评论 -
语言模型Language Model
语言模型Language Model三元语言模型构建在马尔可夫理论上,构建联合概率模型二阶马尔可夫i的概率依赖于i-1,i-2的值三元语言模型构成其联合概率写成概率估计极大似然估计,参数巨大线性插值结合了一元,二元,三元如何估计λ\lambdaλ打折法降低了某些估计的值混乱度Perplexity越小越好语法解析Parsing解析树s支配了整个子串CFG Context-Free Grammars派生序列表示每次取最左端非终端的项继续表示原创 2020-12-20 12:32:35 · 737 阅读 · 1 评论 -
信息论-熵entropy
信息论熵entropy信息量自互信息x取不同值概率的倒数的log的期望尽可能用少的bit传递频次高的字符联合熵条件熵条件概率,在已知x的情况下去传输y所需要的信息量联合熵和条件熵的关系互信息两者之间的共有信息已知y的情况下对x进行编码所节省的信息量相对熵表示两个随机分布差异的程度在真实P分布不知时,衡量自己构造的Q分布所使用的信息位比真实P分布多出的信息位属性交叉熵cross entropy变量x,P真实,Q模型评估模型质量的度量熵率entropy原创 2020-12-06 19:16:11 · 204 阅读 · 0 评论