[置顶] 机器学习 人工智能 博文链接汇总

[入门问题] [TensorFlow] [深度学习] [好玩儿的算法应用实例] [聊天机器人] [神经网络] [机器学习] [机器学习算法应用实例] [自然语言处理] [数据科学] [Python] [Java] [机器学习--初期的笔记] [路线] [软件安装] [面试] 入门问题简单粗暴地入门机器学习 机...
阅读(2380) 评论(10)

用 Grid Search 对 SVM 进行调参

上一次用了验证曲线来找最优超参数。用验证曲线 validation curve 选择超参数今天来看看网格搜索(grid search),也是一种常用的找最优超参数的算法。网格搜索实际上就是暴力搜索: 首先为想要调参的参数设定一组候选值,然后网格搜索会穷举各种参数组合,根据设定的评分机制找到最好的那一组设置。以支持向量机分类器 SVC 为例,用 GridSearchCV 进行调参:from skle...
阅读(7) 评论(0)

用验证曲线 validation curve 选择超参数

本文结构: 验证曲线的作用? 验证曲线是什么? 怎么解读? 怎么画? 验证曲线的作用?我们知道误差由偏差(bias)、方差(variance)和噪声(noise)组成。偏差:模型对于不同的训练样本集,预测结果的平均误差。 方差:模型对于不同训练样本集的敏感程度。 噪声:数据集本身的一项属性。同样的数据(cos函数上的点加上噪声),我们用同样的模型(polynomial),但是超参数却不同(deg...
阅读(563) 评论(0)

用学习曲线 learning curve 来判别过拟合问题

本文结构: 学习曲线是什么? 怎么解读? 怎么画? 学习曲线是什么?学习曲线就是通过画出不同训练集大小时训练集和交叉验证的准确率,可以看到模型在新数据上的表现,进而来判断模型是否方差偏高或偏差过高,以及增大训练集是否可以减小过拟合。怎么解读?当训练集和测试集的误差收敛但却很高时,为高偏差。 左上角的偏差很高,训练集和验证集的准确率都很低,很可能是欠拟合。 我们可以增加模型参数,比如,构建更多的特...
阅读(509) 评论(0)

为什么要用交叉验证

本文结构: 什么是交叉验证法? 为什么用交叉验证法? 主要有哪些方法?优缺点? 各方法应用举例? 什么是交叉验证法?它的基本思想就是将原始数据(dataset)进行分组,一部分做为训练集来训练模型,另一部分做为测试集来评价模型。为什么用交叉验证法? 交叉验证用于评估模型的预测性能,尤其是训练好的模型在新数据上的表现,可以在一定程度上减小过拟合。 还可以从有限的数据中获取尽可能多的有效信息。 主要有哪...
阅读(72) 评论(0)

详解循环神经网络(Recurrent Neural Network)

今天的学习资料是这篇文章,写的非常详细,有理论有代码,本文是补充一些小细节,可以二者结合看效果更好: https://zybuluo.com/hanbingtao/note/541458在文末有关于 RNN 的文章汇总,之前写的大多是概览式的模型结构,公式,和一些应用,今天主要放在训练算法的推导。本文结构: 模型 训练算法 基于 RNN 的语言模型例子 代码实现 1. 模型 和全连接网络的区别 更...
阅读(710) 评论(0)

按时间轴简述九大卷积神经网络

1998, Yann LeCun 的 LeNet5图像特征分布在整个图像上 在具有很少参数的多个位置上提取类似特征时,具有可学习的参数的卷积是个比较有效的方法 在没有应用GPU的时候,能够保存参数和计算就成了一个关键优势 LeNet5并没有把每个像素都作为大型多层神经网络的一个输入,因为图像是高度空间相关的,如果用了这种方法,就不能很好地利用相关性LeNet5 的主要特征: CNN 主要用这3...
阅读(638) 评论(1)

详解 LSTM

今天的内容有: LSTM 思路 LSTM 的前向计算 LSTM 的反向传播 关于调参 LSTM长短时记忆网络(Long Short Term Memory Network, LSTM),是一种改进之后的循环神经网络,可以解决RNN无法处理长距离的依赖的问题,目前比较流行。长短时记忆网络的思路:原始 RNN 的隐藏层只有一个状态,即h,它对于短期的输入非常敏感。 再增加一个状态,即c,让它来保存长期...
阅读(151) 评论(0)

用 LSTM 来做一个分类小问题

用一个简单的例子来看看 LSTM 在 tensorflow 里是如何做分类问题的。这个例子特别简单,就是一个长度为 20 的二进制串,数出其中 1 的个数,简单到用一个 for 就能搞定的事情,来看看 LSTM 是如何做到的。大家可以先在这里停一下,看看你有什么想法呢。import numpy as np from random import shuffleinput 一共有 2^20 种组合,就生...
阅读(100) 评论(0)

用 LSTM 做时间序列预测的一个小例子

问题:航班乘客预测 数据:1949 到 1960 一共 12 年,每年 12 个月的数据,一共 144 个数据,单位是 1000 下载地址 目标:预测国际航班未来 1 个月的乘客数import numpy import matplotlib.pyplot as plt from pandas import read_csv import math from keras.models impor...
阅读(143) 评论(0)

什么是 Dropout

为了应对神经网络很容易过拟合的问题,2014年 Hinton 提出了一个神器, Dropout: A Simple Way to Prevent Neural Networks from Overfitting (original paper: http://jmlr.org/papers/v15/srivastava14a.html)实验结果: dropout 是指在深度学习网络的训练过程...
阅读(85) 评论(0)

seq2seq 入门

本文结构: 什么是 seq2seq? Encoder–Decoder 结构? seq2seq 结构? 什么是 seq2seq?seq2seq 是一个 Encoder–Decoder 结构的网络,它的输入是一个序列,输出也是一个序列, Encoder 中将一个可变长度的信号序列变为固定长度的向量表达,Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。这个结构最重要的地方在于输入序列和输...
阅读(84) 评论(0)

seq2seq 的 keras 实现

上一篇 seq2seq 入门 提到了 cho 和 Sutskever 的两篇论文,今天来看一下如何用 keras 建立 seq2seq。 第一个 LSTM 为 Encoder,只在序列结束时输出一个语义向量,所以其 “return_sequences” 参数设置为 “False”使用 “RepeatVector” 将 Encoder 的输出(最后一个 time step)复制 N 份作为 Deco...
阅读(91) 评论(0)

CART 分类与回归树

本文结构: CART算法有两步 回归树的生成 分类树的生成 剪枝 CART - Classification and Regression Trees分类与回归树,是二叉树,可以用于分类,也可以用于回归问题,最先由 Breiman 等提出。分类树的输出是样本的类别, 回归树的输出是一个实数。CART算法有两步:决策树生成和剪枝。决策树生成:递归地构建二叉决策树的过程,基于训练数据集生成决策树,生成的...
阅读(228) 评论(0)

一文了解强化学习

虽然是周末,也保持充电,今天来看看强化学习,不过不是要用它来玩游戏,而是觉得它在制造业,库存,电商,广告,推荐,金融,医疗等与我们生活息息相关的领域也有很好的应用,当然要了解一下了。本文结构: 定义 和监督式学习, 非监督式学习的区别 主要算法和类别 应用举例 1. 定义强化学习是机器学习的一个重要分支,是多学科多领域交叉的一个产物,它的本质是解决 decision making 问题,即自动进行决...
阅读(3795) 评论(2)

如何选择优化器 optimizer

在很多机器学习和深度学习的应用中,我们发现用的最多的优化器是 Adam,为什么呢?下面是 TensorFlow 中的优化器, https://www.tensorflow.org/api_guides/python/train 在 keras 中也有 SGD,RMSprop,Adagrad,Adadelta,Adam 等: https://keras.io/optimizers/我们可以发现除...
阅读(12936) 评论(2)
250条 共17页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:204957次
    • 积分:4245
    • 等级:
    • 排名:第6736名
    • 原创:234篇
    • 转载:13篇
    • 译文:2篇
    • 评论:95条
    我的小世界
    欢迎关注公众号:极客X养成计划
    人工智能时代,学点机器学习,一起持续迭代,Run With AI !
    极客X养成计划
    博客专栏
    最新评论