机器学习
伊小白
这个作者很懒,什么都没留下…
展开
-
小白对斯坦福大学机器学习中的几个点的理解(一)
小白对斯坦福大学机器学习中的几个点的理解(一) 1、块梯度下降(批梯度下降)以及随机梯度下降 对于线性回归(及logistic回归),以及感知机,SVM等方法来说,本质就是要找出一个超平面,不同的方式是用不同的算法,不同的策略去寻找这个超平面,也就是说,他们的模型,应该是相同的。 既然有相同的模型:超平面,那么对于损失函数,是类似的:用所有的点到该超平面的距离进行衡量。当然,点的选取也有所不同原创 2015-06-03 12:48:53 · 951 阅读 · 0 评论 -
使用sklearn进行机器学习-理论
使用sklearn进行机器学习—理论本文主要是这两篇文章的整理。更详细的内容可以参看。前言 很多人在竞赛(Kaggle,天池等)或工程实践中使用了集成学习(例如,RF、GTB等),确实也取得了不错的效果,在保证准确度的同时也提升了模型防止过拟合的能力。但是,我们真的用对了集成学习吗? sklearn提供了sklearn.ensemble库,支持众多集成学习算法和模型。恐怕大多数人使用这些工具时,转载 2017-05-10 09:11:38 · 1630 阅读 · 0 评论 -
深度学习之理解神经网络的四个公式
在这篇文章上一里面,我们探讨了:可以使用偏导值利用梯度下降来求权重w和b,但是我们并没有提,如何求代价函数的偏导,或者说如何对代价函数使用梯度下降。这时候就需要我们的backpropagation出马了。backpropagaton的历史我就不详谈了(主要是懒),总之呢,现在他已经成了神经网络计算的核心算法了。接下来我们就详细的讲这个算法。首先我们从基础开始说起,首先定义一个神经网络在这里,首先需要原创 2017-04-21 15:48:18 · 14805 阅读 · 0 评论 -
sklearn之模型选择与评估
sklearn之模型选择与评估在机器学习中,在我们选择了某种模型,使用数据进行训练之后,一个避免不了的问题就是:如何知道这个模型的好坏?两个模型我应该选择哪一个?以及几个参数哪个是更好的选择? 这就涉及到一个模型选择与评估的问题了。sklearn包的model_selection模块主要辅助要解决的,就是这个问题。下面我们会简单讲下model_selection中提到的一些模型选择与评估方法,作为一原创 2017-04-21 15:29:37 · 6855 阅读 · 0 评论 -
在Mac os下安装xgboost
在Mac os下安装xgboostgit clone --recursive https://github.com/dmlc/xgboost原创 2016-11-14 22:58:06 · 12183 阅读 · 1 评论 -
word2vec理解
最近需要用word2vec来对微博的一些数据进行处理,因此学习了word2vec算法。 对word2vec算法说的最详细的,可以参考该文章: http://pan.baidu.com/s/1gdX8yxd对于google发出的c语言版本的源码,做了一些注释,可以略做参考: https://github.com/kamendula/word2vec目前的word2vec的算法是全量的方式,但是由原创 2016-01-15 11:49:48 · 1469 阅读 · 0 评论 -
数据挖掘学习知识记录
以后在这里分享数据挖掘自己学习的相关知识在这里,既是作为自己学习的记录,方便以后自己的回顾,也希望有机会跟各位大神有交流的机会。综合来看,目前需要学习的有这么几点:1、概率;2、统计学;3、线性代数4、Andraw NG的机器学习视频;5、Kaggle的使用方法。以上五点作为目前重点学习与记录的几个方面。与各位共勉。原创 2015-09-21 09:33:20 · 613 阅读 · 0 评论 -
似然函数
在机器学习的算法中,我们经常会见到“似然函数”这个概念。那么,什么是“似然函数”呢? 如果直接看似然的话,比较让人迷惑。但是如果看英文名“Likelihood function ”,就可以大体明白,是表明“可能性”的函数。 我们知道,通常情况下,我们是利用“概率”这个词来表名可能性的。比如:我们知道抛一枚硬币,其正面朝上的概率为p=0.5。那么,在我们抛3次时,其全部朝上的概率是:p=0.5*0原创 2015-06-03 17:53:35 · 943 阅读 · 0 评论 -
使用sklearn进行机器学习—实践
使用sklearn进行机器学习—实践Random Forest和Gradient Tree Boosting参数详解 在sklearn.ensemble库中,我们可以找到Random Forest分类和回归的实现:RandomForestClassifier和RandomForestRegression,Gradient Tree Boosting分类和回归的实现:GradientBoosting转载 2017-05-10 09:12:29 · 2922 阅读 · 0 评论