机器学习
文章平均质量分 57
茁壮小草
这个作者很懒,什么都没留下…
展开
-
RMS,RMSE以及SD
本次分享几个容易混淆的量,分别为:•RMS:均方根值•RMSE: 均方根误差•Standard Deviation: 标准差下面给出三个量的表达公式: 均方根值 X rms =∑ N i=1 X N i N − − − − − − − − √ =X 2 1 +X 2 2 +...+X 2 N N − − − − − − − − − − − − − − − − √ X_{rms}原创 2016-09-21 20:45:52 · 16912 阅读 · 0 评论 -
Tensorflow | MNIST手写字识别
这次对最近学习tensorflow的总结,以理解MNIST手写字识别案例为例来说明原始的网址:https://www.tensorflow.org/versions/r0.12/tutorials/mnist/beginners/index.html#mnist-for-ml-beginners0、数据解释数据为图片,每个图片是28像素*28像素,带有标签,类似于X和Y,X为28像素*28像素的数原创 2017-01-15 20:24:49 · 5341 阅读 · 0 评论 -
spark | metastore_db cannot be creat
快找工作了,也得把spark和hadoop学起来,于是安装便碰到问题。<console>:14: error: not found: value spark import spark.implicits._ ^<console>:14: error: not found: value spark import spark.sql其原因是没有原创 2017-02-16 13:24:47 · 3961 阅读 · 1 评论 -
spark | 学习记录: 启动Scala、python
初学者,记录学习spark的最基本东西,不忘记在spark下启动scala:./bin/spark-shell测试例子:sc.parallelize(1 to 1000).count()在spark中启动python:./bin/pyspark测试例子:sc.parallelize(range(1000)).count()原创 2017-02-16 14:26:21 · 1389 阅读 · 0 评论 -
spark | spark 机器学习chapter3 数据的获取、处理与准备
阅读spark机器学习这本书来学习在spark上做机器学习注意:数据集是电影评分等数据,下载链接:http://files.grouplens.org/datasets/movielens/ml-100k.zip数据集包括:用户属性文件、电影元素、用户对电影的评级 1、将数据解压到某个目录下,并切换到该目录unzip ml-100k.zipcd ml-100k2、查看上述三种数据用户 电影原创 2017-02-17 17:20:53 · 693 阅读 · 0 评论 -
R语言:计算各种距离
在做分类时常常需要估算不同样本之间的相似性(Similarity Measurement),这时通常采用的方法就是计算样本间”距离”(Distance)。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。本文的目的就是对常用的相似性度量做一个总结。本文目录:闵可夫斯基距离欧氏距离曼哈顿距离切比雪夫距离标准化欧式距离马氏距离夹角余弦汉明距离杰卡德距离&杰卡德相似系数相关系原创 2016-11-13 23:40:20 · 77622 阅读 · 10 评论 -
BP神经网络的推导及其参数统计
对3层神经网络结构推导,求出它的参数,以及每层需要计算的参数和数量。说明:本次总结的图片来自周志华老师的课件。单个节点的神经元 图中给出了输入到某一个隐藏层单一节点的过程一个完整的神经网络结构如下:整体结构: 输入层节点dd个,隐藏层节点qq个,输出层节点ll个各层的权重定义如下: 输入层到隐藏层: VV vihv_{ih} 表示 第ii个输入层节点 ——> 第hh个隐藏层节点 隐藏原创 2017-03-06 18:48:05 · 2501 阅读 · 4 评论 -
假设检验
假设检验的元素原假设H0H_{0} : 关于一个或多个总体常数 备择假设HaH_{a} : 如果我们决定拒绝原假设则将接受的假设 检验统计量 : 由样本数据计算的 拒绝域 : 使得原假设被拒绝的检验统计量的取值 结论 : 作出接受还是拒绝原假设的决策构建假设检验的步骤:确定想要的结果(放在备择项),设立好原假设、备择假设 构建统计量,给定α\alpha 计算p值和置信区间,以及原创 2017-03-28 19:42:36 · 4178 阅读 · 0 评论 -
Tensorflow | win10中安装tensorflow-0.12.1 (0.12.1以后的版本安装均适用)
本文首发在CSDN博客:http://blog.csdn.net/xxzhangx/article/details/54379255前几天,谷歌推出了windows对tensorflow的支持,我参考下面两篇博文来安装了我的tensorflow。为表示对远程作者的尊敬,先列出参考的文章。 - 参考文献 https://m.aliyun.com/yunqi/articles/68435 htt原创 2017-01-12 17:06:55 · 16809 阅读 · 12 评论 -
机器学习 | 交叉熵
为分类任务中,常用交叉熵来刻画损失函数,为什么可以这样使用呢?下面将一步步的揭开面纱。1、数学背景定义:在信息论中,交叉熵是表示两个概率分布p,q,其中p表示真实分布,q表示非真实分布,在相同的一组事件中,用非真实分布q来表示某个事件发生所需要的平均比特数。从这个定义中,我们很难理解交叉熵的定义。下面举个例子来描述一下。假设现在有一个样本集中两个概率分布p,q,其中p为真实分布,q为非真实分布。假原创 2017-06-29 00:49:50 · 1442 阅读 · 0 评论 -
Kaggle课程 | lecture 1 机器学习算法、工具与流程概述
在july的网站购买了kaggle课程,自己学习并作笔记记录,非给july打广告,只是为了不忘记或自己学习查询。在这里感谢july提供的该课程。下面开始笔记。主要内容 应用领域 常用算法 算法之间的联系 工具 常用scikit-learn ,文本分析用gensim,数据处理用Numpy、matplotlib、pandas,深度学习有tensorflow、caffe、keras解决问题的流程 图原创 2017-02-06 22:14:06 · 1080 阅读 · 1 评论 -
机器学习:代价函数cost function
本文系转载,咯有修改原博客地址:http://blog.csdn.net/u012162613/article/details/44239919在此,向原作者表达感谢,致敬!1.从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为:C=(y−a)22C = \frac{(y-a)^2}{2}其中yy是我们期望转载 2017-01-15 16:33:56 · 6270 阅读 · 1 评论 -
R:混淆矩阵
在机器学习中,最后要计算混淆矩阵,常用的函数有:tableconfusionMatrix下面以前馈神经网络为例来说明:> library("RSNNS") 载入需要的程辑包:Rcpp> library("reshape")> #example data and code from nnet function examples> ir<-rbind(iris3[,,1],iris3[,,原创 2017-01-08 22:10:53 · 10685 阅读 · 0 评论 -
Lasso思想及算法
本文转载自:http://liuzg202.blog.163.com/blog/static/294271962010102592332511、只有这么几个人在做LASSO,他们都是大牛,你可以直接GOOGLE他们的主页,看他们在这块发了什么文章。 yu bin, zhu ji, zhang tong, hui zou, yuan ming, Nicolai Meinshausen, Peter转载 2016-11-02 00:24:31 · 16910 阅读 · 3 评论 -
余弦距离、欧氏距离和杰卡德相似性度量的对比分析
本文系转载,发现分析的很好,就转过来咯。哈哈哈原文: http://www.cnblogs.com/chaosimple/p/3160839.html http://blog.sina.com.cn/s/blog_4b59de07010166z9.html1、余弦距离 余弦距离,也称为余弦相似度,是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。向量,是多维空间中有方向的转载 2016-11-14 12:44:30 · 2095 阅读 · 0 评论 -
R与mongodb
本文系谷歌时发现,代码很好,注释全面,故先码过来,有需要的可以先学习。#http://cran.r-project.org/web/packages/rmongodb/vignettes/rmongodb_introduction.htmllibrary(rmongodb)# Connecting R to MongoDB ------------------------------------原创 2016-11-15 16:50:21 · 2798 阅读 · 1 评论 -
ADMM(alternating direction method of multipliers)
这个学期,老师让我们研究ADMM算法,这次就从表面来介绍下ADMM算法,待下次再详细具体的对ADMM进行梳理下。斯坦福的S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein在2011发表了论文:《Distributed Optimization and Statistical Learning via the Alternating Dire原创 2016-12-10 20:01:01 · 8023 阅读 · 0 评论 -
通用的机器学习框架
这里介绍了机器学习的套路,详细的请参见这个博客:http://blog.kaggle.com/2016/07/21/approaching-almost-any-machine-learning-problem-abhishek-thakur/原创 2016-12-12 12:33:21 · 598 阅读 · 0 评论 -
两数之和(三)
题目:设计一个类,包含如下两个成员函数: Save(int input) 插入一个整数到一个整数集合里。 Test(int target) 检验是否存在两个数和为输入值。如果存在这两个数,则返回true;否则返回false。注意:允许有相同的元素。伪代码:这里写代码片R语言:two_numbers_3<-function(a){ s= unique(a) for原创 2016-12-02 12:48:14 · 560 阅读 · 0 评论 -
matlab 调用mex -setup问题
装了visual studio 2015,可是在matlab中调用失败了。>> mex -setupError using mexNo supported compiler or SDK was found. For options, visit http://www.mathworks.com/support/compilers/R2015a/win64.html.尝试去装SDK,还是不行。原创 2016-12-08 14:08:31 · 9528 阅读 · 6 评论 -
altify:用微软的深度学习理解图片
github上有个项目叫altify,使用微软的视觉学习来理解图片,地址:https://github.com/ParhamP/altify下面直接上代码,学习使用。1、altify 打开cmd,输入:pip install altify便可以下载和安装altify包2、登陆微软的深度学习服务,并订阅免费的服务: 网址:https://www.microsoft.com/cognitive-se原创 2016-12-15 13:46:56 · 949 阅读 · 0 评论 -
机器学习:方差Variance与偏差Bias
在评估机器学习算法时,会经常涉及到方差与偏差,在网上找到很好说明两者的图:原创 2016-12-18 13:00:38 · 669 阅读 · 1 评论 -
机器学习 | 线性回归
计划好久,还欠下的债。问题一: 最小二乘法和梯度下降法的区别在回答这个问题前,有必要来推导下线性回归的公式,方能说到实处。开始公式如一元线性回归,即只有一个自变量,那也只有两个参数w1w_{1}和w0w_{0},表达式如下:f(x)=w0+w1∗x1f(x) = w_{0} + w_{1}*x_{1}其损失函数为:J(w)=∑i=1N(yi−w0−w1∗xi)2J(w) = \sum_{i=1}^原创 2017-10-07 20:35:38 · 438 阅读 · 0 评论