![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 56
少儿西笑
自然语言处理工程师
展开
-
关于合理安排程序项目的一点总结
工作之前一直没有完完整整地完成一整个项目,再加上计算机基础不扎实,写的代码可读性不好,也很难修改。 按着书本学习pytorch框架后,以及和同事们交流后,慢慢开始学着把项目结构安排地更规范些。 这里以一个文本分类的任务为例,主要总结一下在入手一个项目之前,如何构局。 以下是总体的一个布局示意图: 下面介绍各个文件夹及文件的作用: data:存储数据及数据预处理 checkpoint...原创 2018-08-14 16:18:07 · 181 阅读 · 0 评论 -
主成分分析的课堂小结(3)
在这次的笔记中我们用scikit-learn中的PCA来用代码实践一下:from sklearn.decomposition import PCApca = PCA(n_components=1)pca.fit(X)pca.components_X_reduction = pca.transform(X)代码很简单,设置好n_components的个数,fit之后就可以tran...原创 2018-08-16 20:03:09 · 218 阅读 · 0 评论 -
UNE BASE SIMPLE MAIS PARFAITE POUR SENTENCE EMBEDDINGS(一个简单但很难超越的Sentence Embedding基线方法)
法语简介: ABSTRAIT Le succès des méthodes de réseau de neurones pour le calcul des intégrations de mots a conduit à des méthodes activées pour générer des enchaînements sémantiques de textes plus longs,...翻译 2018-09-12 10:19:53 · 408 阅读 · 0 评论 -
关于sklearn中各个聚类模型的特点总结
在sklearn中,聚类模型有:K-meansAffinity propagationMean-shiftSpectral culsteringWard hierarchical clusteringAgglomerative clusteringDBSCANGaussian mixturesBirch由于聚类问题是无监督学习,很难对结果进行测评,所以一开始就就根据数据特点选择...原创 2018-09-18 11:37:37 · 1969 阅读 · 0 评论 -
关于一款心理辅导机器人的调研(Woebot)
引子Woebot是一款Facebook Messenger聊天机器人,基于认知行为疗法(Cognitive Behavior Therapy,CBT )来帮助精神抑郁人群。这是一个有基于3亿抑郁患者庞大目标用户群的市场。新科技的应用能在许多方面扩展心理治疗工具,以及使用规模和疗效,如今该领域将注意力转入了人工智能技术。AI+心理健康(从认知行为治疗出发)认知行为治疗始于上世纪60年代,其逐渐...原创 2018-11-13 14:15:10 · 3978 阅读 · 0 评论 -
任务型聊天机器人和闲聊类机器人的关键技术
基于任务型的聊天机器人主要包含四个模块:Spoken Language Understanding(SLU) ,将自然语言转化为intent和slot-values,比如“我想吃中餐,有什么推荐的吗”,intent是‘推荐餐厅’, slot-values是‘菜系-中餐’。Dialogue State Tracking(DST),跟踪对话状态并且输出当前对话状态。这个模块是任务型对话中最核心的...原创 2019-01-08 21:34:51 · 4122 阅读 · 0 评论 -
T-SNE简介
Q:什么是T-SNE,为什么可视化词向量的时候不使⽤PCA, ⽽使⽤TSNE?t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法,是由 Laurens van der Maaten 和 Geoffrey Hinton在 08 年提出来。t-SNE 是一种非线性降维算法,非常适用于高维数据降维到 2 维或者 3 维,进行...原创 2019-02-21 20:39:00 · 3032 阅读 · 0 评论 -
Beam Search
Q: 什么是Beam Search? 它在NLP中的什么场景里会⽤到?传统的广度优先策略能够找到最优的路径,但是在搜索空间非常大的情况下,内存占用是指数级增长,很容易造成内存溢出,因此提出了beam search的算法。beam search尝试在广度优先基础上进行进行搜索空间的优化(类似于剪枝)达到减少内存消耗的目的。在sequence2sequence模型中,beam search的方法...转载 2019-02-21 20:50:28 · 396 阅读 · 0 评论 -
信息抽取
信息抽取技术主要用于抽取:抽取实体:比如人,地名,时间这些一般的常见的实体,再比如在一些垂直领域,需要提取医疗领域,金融领域,教育领域等方面的实体。抽取关系:提取的是实体与实体间的关系。信息抽取应用场景:比如我们有以上一段话,需要进行实体抽取,以及实体间的关系抽取,接下来需要把这些信息整合成知识图谱的形式。更多应用:知识库的搭建Google Scholar用户库: R...原创 2019-02-22 15:13:23 · 2520 阅读 · 0 评论 -
监督学习
Q:监督学习的流程是什么样的?监督学习过程图示:首先我们需要带有标签的数据,接着,通过特征工程来提取特征形成特征向量。然后,我们会选择模型,相当于选择某一个目标函数,那有了一个目标之后,就可以使用优化算法来优化目标函数。这些算法一般都可以调用工具来使用。这样我们便得到了一个预测结果。如果预测结果不好怎么办呢?我们会从头开始,在每一个部分都作一些调节,一般我们算法工程师做的事情就是循环过程。其中...原创 2019-02-19 21:29:08 · 1269 阅读 · 0 评论 -
主成分分析的课堂小结(2)
前面所说的都是只有二位的数据,现在我们把问题普遍化,将高维数据微量低维数据映射的问题。 假设样本X的数量有m个,特征数目有k个,也就是m*k大小的样本,希望降维之后变成m*n,也就是说,降维到n维的空间内。简单地说,我们需要找前n个主成分。用矩阵表示如下: 下面用代码封装一个降维工具:class PCA: def __init__(self, n_components)...原创 2018-08-16 19:40:01 · 197 阅读 · 0 评论 -
主成分分析的课堂小结(1)
这篇课堂笔记来源于视频: https://www.bilibili.com/video/av22634854/?spm_id_from=333.338.recommend_report.4PCA 可以降维,去噪,有利于可视化。那么PCA的原理是什么呢? 举个简单的例子,我们有几个存在两个特征的样本点,如下: 我们希望减少到一个特征,那怎么做呢?显然我们最先想到的是,直接只保留其中...原创 2018-08-16 17:10:38 · 292 阅读 · 0 评论 -
关于对SVM(支持向量机)的课堂笔记
一直对SVM里的数学推论望而却步,涉及到拉格郎日乘子,对偶问题,KKT, SMO, 核函数之类的,看着就觉得很难,虽然在平时有应用过,但对其中的原理还是一知半解。在这里根据网络上的视频课程做一个大概的总结。 推荐SVM原理及使用教程:https://www.bilibili.com/video/av22820580/?p=9一直不明白为什么两边的支持向量点所在的线为什么是WX + b = 1...原创 2018-08-16 13:45:39 · 236 阅读 · 0 评论 -
对于决策树的一些整理
人们都说决策树是一种很简单的分类器,笔者也看过不少关于决策书的文章以及教程之类的,可是如果你让把独立地把这个决策过程完整地复述一遍,还是会有很多细节不太明了。在这里以问答形式作一个总结,错误的地方请指正。一 你能说说决策树的基本流程吗? 顾名思义,决策树就是以一种树形的结构来对问题做判断。比如‘我们要决定明天要不要去桂林旅游’这个问题,首先我们会看看‘有合适的车票吗’,如果有,那再看看’有合...原创 2018-08-11 13:35:10 · 1131 阅读 · 1 评论 -
对于逻辑回归的总结
人们都说逻辑回归是一种很简单的分类器,笔者也看过不少关于逻辑回归的文章以及教程之类的,可是如果你让把独立地把这个逻辑回归过程完整地复述一遍,还是会有很多细节不太明了。在这里以问答形式作一个总结,错误的地方请指正。...原创 2018-08-11 14:24:17 · 2130 阅读 · 0 评论 -
关于频率学派和贝叶斯学派
一直对频率学派和贝叶斯学派的区别一知半解,看过网上的一些文章,感觉也写得太专业术语化,这次在这里好好的做一次总结。频率学派:使用随机事件的发生的频率描述概率的方法,就是通常说的古典概型,直接为事件本身建模,认为模型存在固定的参数。贝叶斯学派:参数是未观察到的随机变量,其本身也可有分布(也就是说,从观察者的角度出发,认为人观察到的总是有限的),因此,可假定参数服从一个先验分布(当先验概率为1...原创 2018-08-14 20:31:10 · 607 阅读 · 0 评论 -
总结一下朴素贝叶斯分类器
其实我第一次听到朴素贝叶斯分类器时,又看到一大堆的公式,下意识地以为很难。随着后来阅读了一些文献,便觉得不那么难了。可是随着了解的深入,又发现我以为的并不总是我以为的,一些细节处还是没想明白。在这里对朴素贝叶斯作一个总结。首先,亮一下贝叶斯定理: P(c|x) = P(x|c)P(c)/P(x)代入一个具体的分类问题中,c代表类别,x代表特征。那么现在的情况是,给你一堆训练数据,训练一个...原创 2018-08-11 20:11:51 · 1019 阅读 · 0 评论 -
用大白话讲讲几个机器学习中的重要概念
这次的文章是对于周志华所著的《机器学习》一书第二章模型评估与选择的读书笔记,还是以问答的形式尽量通俗地对一些基本的概念作一个总结。一 在模型训练中常常会过拟合,能不能跟一个小白讲讲什么是过拟合? 先来看看官方原话是怎么说的:当学习器把训练样本觉得‘太好了’的时候,很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质,这样就会导致泛化能力的下降,这就是所谓的过拟合。 哎,说...原创 2018-08-12 11:21:30 · 868 阅读 · 0 评论 -
文本分类(课堂笔记)
这次的文章是根据牛津大学的公开课深度学习NLP中关于文本分类的课堂笔记(其实就是一些截图了,因为后来发现这个课程比较基础)。 原视频看这里:https://www.bilibili.com/video/av9817911/?p=7首先,文本分类都有什么类型呢? 二值分类; 单标签分类; 多标签分类; 聚类(无标签)那么分类都有哪些方法呢?各有什么优缺点? 这个比较简单,直接截图...原创 2018-08-12 20:50:04 · 449 阅读 · 0 评论 -
梯度下降法课堂笔记
什么是梯度下降法? 这是一个在机器学习领域来求一个目标函数的最小值的搜索方法。 对于有些函数,我们找到的可能是局部最优解,应该怎么办呢? 下面我们用程序来模拟梯度下降的过程:import numpy as npimport matplotlib.pyplot as pltplot_x = np.linspace(-1,6,141)plot_y = (plot_x-2.5...原创 2018-08-18 13:04:46 · 218 阅读 · 0 评论 -
集成学习笔记
本文的课程来源: https://www.bilibili.com/video/av23908372/?p=3集成模型需要各种各样的子模型: 但同时我们又不需要很高的准确率: 随着子模型地增加,总体准确率上升。 具体地,创建差异(每个子模型是看样本数据的一部分)有两种方式: 下面用代码来实现一个集成学习: 准备数据: 使用Bagging训练数据: n_est...原创 2018-08-18 17:07:17 · 230 阅读 · 0 评论 -
对于softmax和sigmoid的理解
在分类问题中,人们常常会用到sigmoid和softmax这两个激活函数。sigmoid:A logistic function or logistic curve is a common “S” shape (sigmoid curve). 也就是说,sigmoid把一个值映射到0-1之间。softmax:softmax is a generalization of logistic ...原创 2018-08-16 10:19:14 · 21021 阅读 · 0 评论 -
PCA过程
PCA(Principal Component Analysis),也称为主成分分析。降维可以解决三类问题:缓解维度灾难在压缩数据的同时让信息损失最小化维度少的数据通过可视化更容易理解从数学的角度来看,PCA的目标是什么呢?它的目标是通过某种线性投影,将高维的数据映射到低维的空间中,即把原先的n个特征用数目更少的m个特征取代,并且,我们希望在所投影的维度上数据的方差最大,尽量使新的m个...原创 2019-02-21 10:44:31 · 807 阅读 · 2 评论