机器学习
文章平均质量分 75
GZHermit
前进是痛苦的
停滞是舒适的
展开
-
机器学习(7) PASCAL VOC2012数据集
因为最近在做语义分割,需要用到这个数据集。而通过对于官网的查看和了解,发现这个数据集的用途非常的多,特此详细记录一下。下载地址:点击下载这个数据集的文件目录如下:Annotation *.xmlImageSets Action *_train.txt*_trainval.txt*_val.txtLayout train.txttrainval.txtval.txtMain原创 2017-07-22 13:57:55 · 9525 阅读 · 4 评论 -
[译] TF-api(3) tf.nn.softmax_cross_entropy_with_logits
tf.nn.softmax_cross_entropy_with_logitsargs: _sentinel: Used to prevent positional parameters. Internal, do not use.从源码里面来看,这个参数的目的是不让用,因为如果你给它传了值,它会raise一个error出来。所以在传值的时候要指定logits和labels,就是帮助你别写错代翻译 2017-07-21 14:10:53 · 649 阅读 · 1 评论 -
机器学习(6) MovieLens数据集
MovieLens数据集是一个关于电影评分的数据集,里面包含了从IMDB, The Movie DataBase上面得到的用户对电影的评分信息,详细请看下面的介绍。介绍:links.csv: 文件里面的内容是帮助你如何通过网站id在对应网站上找到对应的电影链接的。数据格式如下: movieId, imdbId, tmdbId movieId:表示这部电影在movielens上的id,原创 2017-07-04 18:16:21 · 22417 阅读 · 3 评论 -
机器学习(5) 推荐 矩阵分解(Matrix Factorization)
稍微看了一些关于推荐方面的资料,做一下简单的总结。推荐任务定义: 在一个标准推荐任务中,我们有mm个用户(user),nn个物品(item),以及一个稀疏评分矩阵R(R∈Rm∗n)R(R\in R^{m*n})。RR中每个RijR_{ij}表示用户ii对于物品jj的评分。如果Rij≠0R_{ij} \neq 0,那么说明用户ii有对物品jj的评分,反之则没有。每一个用户ii可以原创 2017-06-29 18:57:28 · 25671 阅读 · 2 评论 -
机器学习(4) EM算法
似然函数 统计学中,似然函数是一种关于统计模型参数的函数。给定输出x时,关于参数θ的似然函数L(θ|x)L(θ|x)(在数值上)等于给定参数θ后变量X的概率:L(θ|x)=P(X=x|θ)L(θ|x)=P(X=x|θ)举例 假设统计了一批学生的身高,这批学生的身高是服从同一个高斯分布P(X|θ)P(X|θ)。现抽取N个学生的身高,第ii个学生的身高为xix_i,那么同时抽原创 2017-05-24 11:44:43 · 522 阅读 · 0 评论 -
机器学习(3) Batch的好处
优化方法系列 Batch的好处 当训练数据太多时,利用整个数据集更新往往时间上不显示。batch的方法可以减少机器的压力,并且可以更快地收敛。 当训练集有很多冗余时(类似的样本出现多次),batch方法收敛更快。以一个极端情况为例,若训练集前一半和后一半梯度相同。那么如果前一半作为一个batch,后一半作为另一个batch,那么在一次遍历训练集时,batch的方法向最优解前进原创 2016-12-22 11:52:16 · 4108 阅读 · 0 评论 -
机器学习(2) 变分推断
变分 对于普通的函数f(x)f(x),我们可以认为ff是一个关于xx的一个实数算子,其作用是将实数xx映射到实数f(x)f(x)。那么类比这种模式,假设存在函数算子FF,它是关于f(x)f(x)的函数算子,可以将f(x)f(x)映射成实数F(f(x))F(f(x)) 。对于f(x)f(x)我们是通过改变x来求出f(x)f(x)的极值,而在变分中这个xx会被替换成一个函数y(x)y(x),我们通过原创 2017-03-26 10:55:45 · 3883 阅读 · 0 评论 -
机器学习(1) 熵 entropy
熵:反应一个系统的有序程度,熵越高,有序程度越低熵的本质是香农信息量(log1p)(log\frac{1}{p})的期望。 自信息 用于衡量单一事件发生时所包含的信息量多寡,记作I(X)I(X) I(x)=−logP(x)I(x) = -logP(x) P(x)P(x)越小,表示单一事件的发生概率越小,一旦发生,则包含的信息量越多,则I(x)I(x)越大。若P(x)=1P(x)原创 2017-03-04 20:58:01 · 1945 阅读 · 0 评论 -
机器学习(5) MNIST数据集
MNIST数据集是一个手写体数据集MNIST数据集里一共有70000个样例,这70000个样例又会被分为50000个Train样例,10000个Validate样例,10000个Test样例。with gzip.open(filepath) as fp: (x_train, y_train), (x_valid, y_valid), (x_test, y_test) = pickle.loa原创 2017-05-26 18:30:56 · 513 阅读 · 0 评论