降维的方法有哪些?

1.PCA降维 2SVD降维

2019-01-14 20:35:47

阅读数:12

评论数:0

HMM算法

隐马尔可夫模型有三种应用场景,我们做命名实体识别只用到其中的一种——求观察序列的背后最可能的标注序列。

2018-12-26 16:08:52

阅读数:29

评论数:0

新词发现

一、新词 新词发现又叫未登录词识别,我认为可以包括两种形式:1.命名实体识别 2.普通新词发现 命名实体识别我们在另一章中专门讨论,本节只讨论普通新词发现。 目前新词发现可以分为两类算法:无监督,有监督。无监督主要通过互信息,左右熵来发现,有监督主要通过 标注,例如CRF+深度学习 二、...

2018-12-19 15:37:31

阅读数:15

评论数:0

损失函数,代价函数,目标函数的区别

假设函数(hypothesis function):预测函数 损失函数(loss function):计算的是一个样本的误差 代价函数(cost function,成本函数):是整个训练集上所有样本误差的平均 目标函数(objective function):代价函数 + 正则化项 ...

2018-11-27 21:19:20

阅读数:16

评论数:0

word2ve源码解析(python版gensim实现)

class BaseAny2VecModel() class BaseWordEmbeddingsModel(BaseAny2VecModel) def __init__(): super(BaseWordEmbeddingsModel, self).__init__() self.bu...

2018-11-18 19:34:44

阅读数:19

评论数:0

文本向量化

一、简介 二、分类 1.one-hot(将词向量化) 这最简单的一种想法,就是对一句话用one-hot编码:比如对于这句话: ohn likes to watch movies,Mary likes too. John likes to watch movies,Mary likes t...

2018-11-13 20:45:48

阅读数:97

评论数:0

语言模型

一、传统统计语言模型 1.n-gram语言模型 二、神经网络语言模型 1.NNLM 2.神经概率语言模型 3.DNN语言模型 以上三者的区别

2018-11-13 10:09:03

阅读数:41

评论数:0

智能事件项目

‘’’ 目标:智能事件项目为丰富智能资讯项目的内容,自动发现和分析最近金融热点事件,未用户投资提供决策支持 ‘’’ 一、技术流程图

2018-10-29 15:40:59

阅读数:60

评论数:0

语言模型

语言模型就是用于评估文本符合语言使用习惯程度的模型。 一、定义 我们目前所说的语言模型主要指的是统计语言模型。 统计语言模型是一个单词序列上的概率分布,对于一个给定长度为m的序列,它可以为整个序列产生一个概率 P(w1,w2,…,wm)。其实就是想办法找到一个概率分布,它可以表示任意一个句子...

2018-10-07 17:52:47

阅读数:31

评论数:0

判别模型和生成模型

判别模型 生成模型 特点 寻找不同类别之间的最优分类面,反映的是异类数据之间的差异 对后验概率建模,从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度 区别(假定输入x, 类别标签y) 估计的是条件概率分布(conditional distribution) : P...

2018-10-06 18:27:41

阅读数:44

评论数:0

条件概率

一、定义 条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为:P(A|B),读作“在B的条件下A的概率”。若只有两个事件A,B,那么, P(A∣B)=P(AB)P(B)P(A|B) = \frac {P(AB)}{P(B)}P(A∣B)=P(B)P(AB)​。 二、公式 ...

2018-10-06 18:05:58

阅读数:52

评论数:0

TF-IDF算法

TF-IDF算法可以分解为两部分:TF和IDF TF算法 $TF =\frac {n_{i,j}}{ss} $

2018-09-28 16:47:08

阅读数:42

评论数:0

模型评估的指标

多模型评估的指标可以分为以下几个类别 一.Accuracy,Precision,Recall 要计算这几个指标先要了解几个概念: FN:False Negative,被判定为负样本,但事实上是正样本。 FP:False Positive,被判定为正样本,但事实上是负样本。 TN:True...

2018-09-27 20:21:22

阅读数:76

评论数:0

短语分析-观点抽取

一、观点抽取的分类 我认为按照观点抽取的对象可以分为两类,一种是对文章进行观点抽取,得到文章的类似摘要、分类、关键词等性质的句子、短语或者关键词。一种是对评论进行观点抽取,得到一个短语,然后在对短语进行分类。 1.文章观点抽取 文章的观点抽取结果可以是一句话(类似标题),一段话(类似摘要),一个短...

2018-09-26 20:10:35

阅读数:178

评论数:0

CNN算法之文本分类

摘要:使用CNN模型,采用Tensorflow做金融领域的文本分类 一、目录解释 目录:cnn_text_classification_tf | | ------README.md ##说明文档 | | ------conf.py ##参数配置文件 | | -----...

2018-09-20 11:51:23

阅读数:86

评论数:0

文本聚类算法总结

一、文本聚类算法总结 1.划分法 (partitioning methods):给定一个有N个元组或者纪录的数据集,分裂法将构造K个分组,每一个分组就代表一个聚类,K<N。而且这K个分组满足下列条件:(1) 每一个分组至少包含一个数据纪录;(2)每...

2018-09-19 14:13:51

阅读数:94

评论数:0

文本分类的特征提取算法

为分类文本作处理的特征提取算法也对最终效果有巨大影响,而特征提取算法又分为特征选择和特征抽取两大类,其中特征选择算法有互信息,文档频率,信息增益,开方检验等等十数种...

2018-09-17 15:07:59

阅读数:155

评论数:0

深度学习__感知机

一、背景

2018-09-13 12:43:36

阅读数:50

评论数:0

常用神经网络

一、常用神经网络分类 1.感知机(神经网络的前身) 2.前向传播算法 3.BP(反向传播算法) 4.DNN(深度神经网络) 5.CNN(卷积神经网络)

2018-09-11 21:14:56

阅读数:34

评论数:0

目标函数

一、目标函数的分类 1.回归的目标函数 均方差(MSE)损失 MSE=−p(x)log(q(x))MSE=−p(x)log(q(x))MSE = -p(x)log(q(x)) 2.分类的目标函数 交叉熵损失 CE=(yi−yj)2CE=(yi−yj)2CE ...

2018-09-05 16:02:35

阅读数:87

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭