[置顶] 机器学习 人工智能 博文链接汇总

[入门问题] [TensorFlow] [深度学习] [好玩儿的算法应用实例] [聊天机器人] [神经网络] [机器学习] [机器学习算法应用实例] [自然语言处理] [数据科学] [Python] [Java] [机器学习--初期的笔记] [路线] [软件安装] [面试] 入门问题简单粗暴地入门机器学习 机...
阅读(3872) 评论(13)

双向 LSTM

本文结构: 为什么用双向 LSTM 什么是双向 LSTM 例子 为什么用双向 LSTM?单向的 RNN,是根据前面的信息推出后面的,但有时候只看前面的词是不够的, 例如,我今天不舒服,我打算__一天。只根据‘不舒服‘,可能推出我打算‘去医院‘,‘睡觉‘,‘请假‘等等,但如果加上后面的‘一天‘,能选择的范围就变小了,‘去医院‘这种就不能选了,而‘请假‘‘休息‘之类的被选择概率就会更大。什么是双向 L...
阅读(64) 评论(0)

手把手用 IntelliJ IDEA 和 SBT 创建 scala 项目

1. 安装 sbt打开 terminal,检查 java 版本,安装 sbt: http://www.scala-sbt.org/release/docs/Installing-sbt-on-Mac.html$ java -version$ brew install sbt$ sbt about Getting org.scala-sbt sbt 0.13.162. 下载 jetbrains 的...
阅读(159) 评论(0)

attention 机制入门

在下面这两篇文章中都有提到 attention 机制: 使聊天机器人的对话更有营养 如何自动生成文章摘要今天来看看 attention 是什么。下面这篇论文算是在NLP中第一个使用attention机制的工作。他们把attention机制用到了神经网络机器翻译(NMT)上,NMT其实就是一个典型的sequence to sequence模型,也就是一个encoder to decoder模型...
阅读(209) 评论(0)

一个 tflearn 情感分析小例子

学习资料: https://www.youtube.com/watch?v=si8zZHkufRY&list=PL2-dafEMk2A7YdKv4XfKpfbTH5z6rEEj3&index=5情感分析, 就是要识别出用户对一件事一个物或一个人的看法、态度,比如一个电影的评论,一个商品的评价,一次体验的感想等等。根据对带有情感色彩的主观性文本进行分析,识别出用户的态度,是喜欢,讨厌,还是中立。关...
阅读(2033) 评论(1)

使聊天机器人的对话更有营养

本文结构: 模型效果 模型 模块细节 今天的论文是 《Topic Aware Neural Response Generation》https://arxiv.org/pdf/1606.08340.pdf这篇论文的目的是让聊天机器人的回复更有营养,例如下面这种场景,要尽量避免‘我也是’‘明白了’‘不知道’这种没有信息量的回复,而是可以给出一些建议和方案等:模型思路是输入句子后,先预测 topics,...
阅读(1897) 评论(12)

使聊天机器人具有个性

本文结构: 模型效果 模型的三个模块 模块细节 今天的论文是 《Assigning Personality/Identity to a Chatting Machine for Coherent Conversation Generation》https://arxiv.org/pdf/1706.02861.pdf当我们在和聊天机器人互动时,最开始往往很好奇的就是对方到底是人还是机器人呢,所以会问到...
阅读(1626) 评论(3)

用 Doc2Vec 得到文档/段落/句子的向量表达

本文结构: Doc2Vec 有什么用 两种实现方法 用 Gensim 训练 Doc2Vec Doc2Vec 或者叫做 paragraph2vec, sentence embeddings,是一种非监督式算法,可以获得 sentences/paragraphs/documents 的向量表达,是 word2vec 的拓展。学出来的向量可以通过计算距离来找 sentences/paragraphs/do...
阅读(373) 评论(0)

用线性判别分析 LDA 降维

本文结构: 什么是 LDA 和 PCA 区别 LDA 降维的计算过程 LDA 降维的例子 1. 什么是 LDA先说判别分析,Discriminant Analysis 就是根据研究对象的各种特征值,判别其类型归属问题的一种多变量统计分析方法。根据判别标准不同,可以分为距离判别、Fisher 判别、Bayes 判别法等。例如,在 KNN 中用的是距离判别,朴素贝叶斯分类用的是 Bayes 判别,线性判...
阅读(1236) 评论(0)

简述极大似然估计

极大似然估计是一种参数估计的方法。 先验概率是 知因求果,后验概率是 知果求因,极大似然是 知果求最可能的原因。 即它的核心思想是:找到参数 θ 的一个估计值,使得当前样本出现的可能性最大。例如,当其他条件一样时,抽烟者患肺癌的概率是不抽烟者的 5 倍,那么当我们已知现在有个人是肺癌患者,问这个人是抽烟还是不抽烟?大多数人都会选择抽烟,因为这个答案是“最有可能”得到“肺癌”这样的结果。为什么要有...
阅读(286) 评论(0)

详解 Stacking 的 python 实现

1. 什么是 stackingstacking 就是当用初始训练数据学习出若干个基学习器后,将这几个学习器的预测结果作为新的训练集,来学习一个新的学习器。2. 代码:例如我们用 RandomForestClassifier, ExtraTreesClassifier, GradientBoostingClassifier 作为第一层学习器: # Our level 0 classifiers...
阅读(1405) 评论(0)

Bagging 简述

本文结构: 基本流程 有放回抽样的好处 Bagging 特点 sklearn 中 Bagging 使用 Bagging 和 Boosting 的区别 bagging:bootstrap aggregating 的缩写。 是一种并行式集成学习方法,可用于二分类,多分类,回归等任务。基本流程: 对一个包含 m 个样本的数据集,有放回地进行 m 次随机采样,这样得到具有 m 个样本的采样集。 取 T 个...
阅读(357) 评论(0)

什么是 ROC AUC

本文结构: 什么是 ROC? 怎么解读 ROC 曲线? 如何画 ROC 曲线? 代码? 什么是 AUC? 代码? ROC 曲线和 AUC 常被用来评价一个二值分类器的优劣。先来看一下混淆矩阵中的各个元素,在后面会用到:1. ROC :纵轴为 TPR 真正例率,预测为正且实际为正的样本占所有正例样本的比例。 横轴为 FPR 假正例率,预测为正但实际为负的样本占所有负例样本的比例。对角线对应的是 “随...
阅读(922) 评论(1)

机器学习中常用评估指标汇总

评估指标 Evaluation metrics 可以说明模型的性能,辨别模型的结果。我们建立一个模型后,计算指标,从指标获取反馈,再继续改进模型,直到达到理想的准确度。在预测之前检查模型的准确度至关重要,而不应该建立一个模型后,就直接将模型应用到看不见的数据上。今天先来简单介绍几种回归和分类常用的评估方法。回归:均方误差:其中 D 为数据分布,p 为概率密度函数。from sklearn.metri...
阅读(403) 评论(0)

PCA 的数学原理和可视化效果

本文结构: 什么是 PCA 数学原理 可视化效果 1. 什么是 PCAPCA (principal component analysis, 主成分分析) 是机器学习中对数据进行降维的一种方法。例如,我们有这样的交易数据,它有这几个特征:(日期, 浏览量, 访客数, 下单数, 成交数, 成交金额),从经验可知,“浏览量”和“访客数”,“下单数”和“成交数”之间会具有较强的相关关系。这种情况下,我们保留...
阅读(1698) 评论(1)

用 Pipeline 将训练集参数重复应用到测试集

当我们对训练集应用各种预处理操作时(特征标准化、主成分分析等等), 我们都需要对测试集重复利用这些参数。pipeline 实现了对全部步骤的流式化封装和管理,可以很方便地使参数集在新数据集上被重复使用。pipeline 可以用于下面几处: 模块化 Feature Transform,只需写很少的代码就能将新的 Feature 更新到训练集中。 自动化 Grid Search,只要预先设定好使用的...
阅读(1392) 评论(1)
265条 共18页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:315469次
    • 积分:5511
    • 等级:
    • 排名:第4810名
    • 原创:251篇
    • 转载:12篇
    • 译文:2篇
    • 评论:135条
    我的小世界
    欢迎关注公众号:极客X养成计划
    人工智能时代,学点机器学习,一起持续迭代,Run With AI !
    极客X养成计划
    博客专栏
    最新评论