- 博客(85)
- 资源 (8964)
- 问答 (8)
- 收藏
- 关注
RSS订阅原创 机器学习--线性回归、逻辑回归
一、线性回归线性回归无非就是训练得到线性函数的参数来回归出一个线性模型，学习《最优化方法》时中的最小二乘问题就是线性回归的问题。关于线性回归，ng老师的视频里有讲，也可以看此博客单参数线性回归。简要说一下线性回归的原理。假设拟合直线为h(x)=θ0+θ1*x, 记Cost Function为J(θ0,θ1)这其实就是一个线性回归问题，上式也是一个最小二乘问题的模型。盗的图，我认
2014-06-30 17:03:58
2162
原创 机器学习的一些很好的博客
1、苏冉旭的博客 讲解很详细2、leftnoteasy 有一些数学基础知识3、JerryLead4、Rachel Zhang的专栏5、tornadomeet 东西很多，内容很丰富6、fansy1990的专栏 里面都是mahout源码分析以及各种算法在hadoop和maprudece中的实现，非常棒。
2014-06-30 14:40:08
1478
原创 Matlab 线性拟合 & 非线性拟合
关键函数：fittypeFit type for curve and surface fittingSyntaxffun = fittype(libname)ffun = fittype(expr)ffun = fittype({expr1,...,exprn})ffun = fittype(expr, Name, Value,...)ffun= fittype
2014-06-30 11:06:23
1949
原创 MATLAB数据处理快速学习教程
本篇内容集合了MATLAB中的基本操作、数据存储与计算、数据的直线与曲线拟合与画图、for-if-while语句的使用方法对一般matlab的操作进行了基本和详细的应用举例，非常适合初学者进行matlab学习快速掌握。下面分四个模块分别进行讲述：========================BasicOperations========================>> A=r
2014-06-30 11:04:16
1701
原创 Matlab实现线性回归和逻辑回归: Linear Regression & Logistic Regression
本文为Maching Learning 栏目补充内容，为上几章中所提到单参数线性回归、多参数线性回归和 逻辑回归的总结版。旨在帮助大家更好地理解回归，所以我在Matlab中分别对他们予以实现，在本文中由易到难地逐个介绍。本讲内容：Matlab 实现各种回归函数=========================基本模型Y
2014-06-30 11:01:34
2008
1
原创 MATLAB支持向量机SVM代码实现
本栏目（Machine learning）包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM（Support Vector Machines 支持向量机）、聚类、降维、异常检测、大规模机器学习等章节。所有内容均来自Standford公开课machine learning
2014-06-30 10:59:26
39969
2
原创 ubuntu下matlab安装心得
一 安装程序1.下载matlab的安装文件至主目录下，我的matlab软件的文件名为Mathworks.Matlab.R2012a.UNIX.iso 2.挂载iso文件 sudo mount -o loop Mathworks.Matlab.R2012a.UNIX.iso /mnt 3.跳转到挂载目录 cd /mnt4.安装 sudo ./install5.出现图形化界面，安装
2014-06-30 10:55:49
1514
原创 KMeans和KMedoid 的Matlab实现
Means和KMedoid算法是聚类算法中比较普遍的方法，本文讲了其原理和matlab中实现的代码。1.目标： 找出一个分割，使得距离平方和最小2.K-Means算法： 1. 将数据分为k个非空子集 2. 计算每个类中心点（k-means中用所有点的平均值，K-medoid用离该平均值最
2014-06-30 10:50:43
1573
原创 Matlab并行编程函数<cellfun & arrayfun>
本篇blog针对两个函数cellfun和arrayfun对程序的加速写一些东西，方便大家调的一手好参数。之前的一篇blog《Matlab并行编程方法》在具体实现时可能有问题（下面会讲），而我查到的对Matlab并行的讲解资料也没有写明这个问题。。。所以这里提一下比较实用的matlab并行加速方法，本篇的出现感谢@王小川_Matlab的热心指点。1. 为什么上一篇对Matlab并行编程有
2014-06-30 10:45:59
4566
原创 MC, MCMC, Gibbs采样 原理&实现（in R）
本文用讲一下指定分布的随机抽样方法：MC(Monte Carlo), MC(Markov Chain), MCMC(Markov Chain Monte Carlo)的基本原理，并用R语言实现了几个例子：1. Markov Chain （马尔科夫链）2. Random Walk（随机游走）3. MCMC具体方法： 3.1 M-H法 3.2 Gibbs采样
2014-06-30 10:41:49
2618
原创 CentOS6.4之图解SSH无验证双向登陆配置
配置SSH无登陆验证，在很多场景下是非常方便的，尤其是在管理大型集群服务时，避免了繁琐的密码验证，在安全级别越高的服务器上，通常密码的设置更复杂，配置SSH，不仅可以用密钥保证节点间通信的安全性，同时也降低了频繁输入密码登陆的耗时，大大提高了管理效率。散仙写此篇文章，也是给准备入手Hadoop的道友们先做好一个基础的准备，当然你也可以不配置SSH，只要你愿意频繁输入Slave节点的密码来登陆。
2014-06-30 10:21:13
1356
原创 Linuxubuntu chmod和chown命令用法详细介绍
Linuxubuntu chmod和chown命令用法详细介绍 在 Ubuntu Linux 中用源码文件安装软件时经常都会用到chmod命令来更改文件的权限使其在安装时有执行的权限。由于 Ubuntu Linux 默认不能用root账户来登录所以在用chmod命令来更改文件的权限时往往需要结合sudo命令来使用，如果你对sudo命令还不太了解，请先看看本站的《sudo命令详解》chm
2014-06-30 09:55:30
1798
原创 在线学习（Online Learning）
原题目叫做The perception and large margin classifiers，其实探讨的是在线学习。这里将题目换了换。以前讨论的都是批量学习（batch learning），就是给了一堆样例后，在样例上学习出假设函数h。而在线学习就是要根据新来的样例，边学习，边给出结果。 假设样例按照到来的先后顺序依次定义为。X为样本特征，y为类别标签。我们的任务是到来一个样例x
2014-06-27 18:41:36
1658
原创 EM算法(Expectation Maximization)
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果
2014-06-27 18:40:01
1615
原创 混合高斯模型（Mixtures of Gaussians）和EM算法
这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。 与k-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，这里我们认为满足多项式分布，，其中，有k个值{1,…,k}可以选取。而且我们认为在给定后，满足多值高斯分布，即。由此可
2014-06-27 18:39:18
1466
原创 规则化和模型选择（Regularization and model selection）
1 问题 模型选择问题：对于一个学习问题，可以有多种模型选择。比如要拟合一组样本点，可以使用线性回归，也可以用多项式回归。那么使用哪种模型好呢（能够在偏差和方差之间达到平衡最优）？ 还有一类参数选择问题：如果我们想使用带权值的回归模型，那么怎么选择权重w公式里的参数？形式化定义：假设可选的模型集合是，比如我们想分类，那么SVM、logistic回归、神经网络等模
2014-06-27 18:31:52
1375
原创 主成分分析（Principal components analysis）
最大方差解释1. 问题 真实的训练数据总是存在各种各样的问题：1、 比如拿到一个汽车的样本，里面既有以“千米/每小时”度量的最大速度特征，也有“英里/小时”的最大速度特征，显然这两个特征有一个多余。2、 拿到一个数学系的本科生期末考试成绩单，里面有三列，一列是对数学的兴趣程度，一列是复习时间，还有一列是考试成绩。我们知道要学好数学，需要有浓厚的兴趣，所以第二
2014-06-27 18:29:17
1383
原创 支持向量机SVM原理
1 简介支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候，老师要求交《统计学习理论》的报告，那时去网上下了一份入门教程，里面讲的很通俗，当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料，让我重新学习了一些SVM知识。我看很多正统的讲法都是从VC 维理论和结构风险最小原理出发，然后引出SVM什么的，还有些资料上来就讲分类超平面什么的。这份材料从前几节讲的logi
2014-06-27 18:21:36
2099
1
原创 独立成分分析（Independent Component Analysis）
1. 问题： 1、上节提到的PCA是一种数据降维的方法，但是只对符合高斯分布的样本点比较有效，那么对于其他分布的样本，有没有主元分解的方法呢？ 2、经典的鸡尾酒宴会问题（cocktail party problem）。假设在party中有n个人，他们可以同时说话，我们也在房间中一些角落里共放置了n个声音接收器（Microphone）用来记录声音。宴会过后，我们从n个麦克风中
2014-06-27 18:19:21
1407
原创 ICA扩展描述
7. ICA算法扩展描述 上面介绍的内容基本上是讲义上的，与我看的另一篇《Independent Component Analysis:Algorithms and Applications》（Aapo Hyvärinen and Erkki Oja）有点出入。下面总结一下这篇文章里提到的一些内容（有些我也没看明白）。 首先里面提到了一个与“独立”相似的概念“不相关（u
2014-06-27 18:18:27
1506
原创 线性判别分析（Linear Discriminant Analysis）
1. 问题 之前我们讨论的PCA、ICA也好，对样本数据来言，可以是没有类别标签y的。回想我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维，但PCA没有将类别标签考虑进去，属于无监督的。 比如回到上次提出的文档中含有“learn”和“study”的问题，使用PCA后，也许可以将这两个特征合并为一个，降了维度。但假设我们的类别标签
2014-06-27 18:16:34
1368
原创 因子分析（Factor Analysis）
1 问题 之前我们考虑的训练数据中样例的个数m都远远大于其特征个数n，这样不管是进行回归、聚类等都没有太大的问题。然而当训练样例个数m太小，甚至m<<n的时候，使用梯度下降法进行回归时，如果初值不同，得到的参数结果会有很大偏差（因为方程数小于参数个数）。另外，如果使用多元高斯分布(Multivariate Gaussian distribution)对数据进行拟合时，也会有问题。让
2014-06-27 18:15:41
2121
原创 增强学习（Reinforcement Learning and Control）
在之前的讨论中，我们总是给定一个样本x，然后给或者不给label y。之后对样本进行拟合、分类、聚类或者降维等操作。然而对于很多序列决策或者控制问题，很难有这么规则的样本。比如，四足机器人的控制问题，刚开始都不知道应该让其动那条腿，在移动过程中，也不知道怎么让机器人自动找到合适的前进方向。 另外如要设计一个下象棋的AI，每走一步实际上也是一个决策过程，虽然对于简单的棋有A*的启发式方法
2014-06-27 18:14:04
1319
原创 典型关联分析（Canonical Correlation Analysis）
1. 问题 在线性回归中，我们使用直线来拟合样本点，寻找n维特征向量X和输出结果（或者叫做label）Y之间的线性关系。其中，。然而当Y也是多维时，或者说Y也有多个特征时，我们希望分析出X和Y的关系。 当然我们仍然可以使用回归的方法来分析，做法如下： 假设，，那么可以建立等式Y=AX如下 其中，形式和线性回归一样，需要训练
2014-06-27 18:13:08
5928
原创 偏最小二乘法回归（Partial Least Squares Regression）
1. 问题 这节我们请出最后的有关成分分析和回归的神器PLSR。PLSR感觉已经把成分分析和回归发挥到极致了，下面主要介绍其思想而非完整的教程。让我们回顾一下最早的Linear Regression的缺点：如果样例数m相比特征数n少（m（n*n矩阵）的秩小于特征个数（即不可逆）。因此最小二乘法就会失效。 为了解决这个问题，我们会使用PCA对样本X（m*n矩阵）进行降维，不妨
2014-06-27 18:11:51
2006
原创 机器学习中的算法(1)-决策树模型组合之随机森林与GBDT
前言： 决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不够的。 模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，这些算法最终的结果是生成N
2014-06-27 18:06:02
1490
原创 机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用
前言： 上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的
2014-06-27 18:04:23
1536
原创 机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)
前言： 第二篇的文章中谈到，和部门老大一宁出去outing的时候，他给了我相当多的机器学习的建议，里面涉及到很多的算法的意义、学习方法等等。一宁上次给我提到，如果学习分类算法，最好从线性的入手，线性分类器最简单的就是LDA，它可以看做是简化版的SVM，如果想理解SVM这种分类器，那理解LDA就是很有必要的了。 谈到LDA，就不得不谈谈PCA，PCA是一个和LDA非常相关的算法
2014-06-27 18:03:11
1477
原创 机器学习中的数学(3)-模型组合(Model Combining)之Boosting与Gradient Boosting
前言： 本来上一章的结尾提到，准备写写线性分类的问题，文章都已经写得差不多了，但是突然听说最近Team准备做一套分布式的分类器，可能会使用Random Forest来做，下了几篇论文看了看，简单的random forest还比较容易弄懂，复杂一点的还会与boosting等算法结合（参见iccv09），对于boosting也不甚了解，所以临时抱佛脚的看了看。说起boosting，强哥之前实
2014-06-27 18:01:53
1280
1
原创 机器学习中的数学(2)-线性回归，偏差、方差权衡
前言： 距离上次发文章，也快有半个月的时间了，这半个月的时间里又在学习机器学习的道路上摸索着前进，积累了一点心得，以后会慢慢的写写这些心得。写文章是促进自己对知识认识的一个好方法，看书的时候往往不是非常细，所以有些公式、知识点什么的就一带而过，里面的一些具体意义就不容易理解了。而写文章，特别是写科普性的文章，需要对里面的具体意义弄明白，甚至还要能举出更生动的例子，这是一个挑战。为了写文章
2014-06-27 18:00:51
1473
原创 机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)
前言: 上次写过一篇关于贝叶斯概率论的数学，最近时间比较紧，coding的任务比较重，不过还是抽空看了一些机器学习的书和视频，其中很推荐两个：一个是stanford的machine learning公开课，在verycd可下载，可惜没有翻译。不过还是可以看。另外一个是prml-pattern recognition and machine learning, Bishop的一部反响不错的书
2014-06-27 17:59:12
3477
原创 单变量线性回归程序实现
程序流程1. 读取数据[plain] view plaincopyprint?data = load('ex1data1.txt'); X = data(:, 1); y = data(:, 2); m = length(y); % number of training examples 2. 画散点图 plotData(X,y)
2014-06-27 17:51:33
1789
原创 单变量线性回归原理
第一部分：入门一、机器学习的定义Arthur Samuel：Field of study that gives computers the ability to learn without being explicitly programmed.计算机在没有得到明确指令的情况下进行学习并解决问题。Tom Mitchell ： Well-posed Learning Problem:
2014-06-27 17:49:45
1545
原创 多变量线性回归 原理
week 2 在 week 1 的基础上，将变量扩充到≥2的情况，整体比较简单。多变量的概念也是一个预测房价的例子，但不同的是，影响房价的因素不止是房子的大小，还引入卧室数量(number of bedrooms)，走廊数量(number of floors)，房子年龄(years)，共4个变量。可以用一个向量的形式来表示训练集中的每个变量(feature)假设函数可以
2014-06-27 17:47:56
1918
原创 多变量线性回归程序实现
第一步：变量归一化用函数mean和std求均值和标准差[cpp] view plaincopyprint?mu = mean(X); sigma = std(X); for i=1:n X_norm(:,i) = (X_norm(:,i) - mu(i)) ./ sigma(i); end 第二步：多变量的代价函数计算法
2014-06-27 17:46:35
1761
原创 机器学习：KNN算法(MATLAB实现)
K-近邻算法的思想如下：首先，计算新样本与训练样本之间的距离，找到距离最近的K 个邻居；然后，根据这些邻居所属的类别来判定新样本的类别，如果它们都属于同一个类别，那么新样本也属于这个类；否则，对每个后选类别进行评分，按照某种规则确定新样本的类别。（统计出现的频率）该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分当K值较小时可能产生过拟合，因为
2014-06-27 17:44:53
7006
原创 以非root 用戶安裝並啟動高級單服務器版
WebSphere Application Server，高級單服務器4.0 版可以在Red Hat Linux 7.1 與SuSE Linux 7.1 上運行。根據您的發行版本（distribution）以正確的方式來安裝該軟件是很重要的，同樣重要的是將該軟件設置成以非root 用戶形式運行。?2001 International Business Machines Corporation.
2014-06-25 10:38:17
1608
原创 Java调用Matlab
1 Java调用Matlab方法举例◆ 将Matlab编写的m文件转化为COM(Component Object Model)组件，在Java程序中利用第三方工具包调用com组件，实现对Matlab程序的调用。1） Jawin(Java/Win32)jawin是一个免费开源的体系结构，用于 Java 组件和通过 Windows COM 对象或 Windows DLL 来公开的组件之间
2014-06-24 17:01:20
1803
原创 常用MySQL数据库命令
1、系统管理1.1 连接MySQL 格式： mysql -h主机地址 -u用户名 －p用户密码 举例： 例1：连接到本机上的MySQL。 首先在打开DOS窗口，然后进入目录 mysqlbin，再键入命令"mysql –u root –p"，回车后提示你输密码，如果刚安装好MySQL，超级用户"root"是没有密码的，故直接回车即可进入到MySQL中了，MySQL的提示符
2014-06-19 17:08:53
1440
原创 MapReduce初级案例
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下所示： 1）file1： 2012-3-
2014-06-19 17:01:52
2135
1
图机器学习峰会-3-6 Relational Reasoning with Rule Discovery.pdf
2022-07-05
图机器学习峰会-1-1 Graph Neural Networks for Learning Simulations.pdf
2022-07-05
中国“互联网+”大学生创新创业大赛-（样本模板）“互联网+”大学生创新创业大赛项目计划书.zip
2022-06-21
中国“互联网+”大学生创新创业大赛-（热点问题）首届中国“互联网+”大学生创新创业大赛热点问题解答.zip
2022-06-21
中国“互联网+”大学生创新创业大赛-（往届获奖项目）第三届中国“互联网+”大学生创新创业大赛全国总决赛获奖名单.zip
2022-06-21
中国“互联网+”大学生创新创业大赛-（热点问题）第三届中国“互联网+”大学生创新创业大赛的新变化.zip
2022-06-21
中国“互联网+”大学生创新创业大赛-（评审规则）第三届中国“互联网+”大学生创新创业大赛全国总决赛评审规则.zip
2022-06-21
中国“互联网+”大学生创新创业大赛-（大赛通知）关于对第三届中国“互联网+”大学生创新创业大赛“的实施方案.zip
2022-06-21
中国“互联网+”大学生创新创业大赛-（评审规则）第二届中国“互联网+”大学生创新创业大赛全国总决赛评审规则.zip
2022-06-21
互联网+商业计划书样本-数据管理--SaaS领域70万用户【超级表格】Pre-A轮商业计划书.zip
2022-06-21
图机器学习峰会-Graph4NLP：A Library for Deep Learning on Graphs for NLP
2022-07-05
图机器学习峰会-1-1 Graph Neural Networks for Learning Simulations.zip
2022-07-05
图机器学习峰会-1-2 Fairness and Explainability in Graph Learning.zip
2022-07-05
图机器学习峰会-Translation between Molecules and Natural Language
2022-07-05
图机器学习峰会-Graph4NLP：A Library for Deep Learning on Graphs for NLP
2022-07-05
图机器学习峰会-Beyond Homophily in Graph Neural Networks
2022-07-05
图机器学习峰会-1-2 Fairness and Explainability in Graph Learning.pdf
2022-07-05
高考填报志愿 该选理科？ 工科？ 还是经济学？
2022-06-07
Simstate应用
2020-11-23
做数据分析时数据量不足怎么办？
2020-11-09
安装pip版本问题经验分享
2020-10-27
APP抓包,我想你应该知道这些东西
2020-10-26
博文中涉及到的相关代码说明
2020-10-16
R和tableau做结合出错
2018-05-31
如何修改表中某种分类的数据量级
2018-02-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人