2016年08月_AlmostFree

原创 pca matlab

NormalizationSingular value decompositionPcapca是一个借助于matlab的svd函数写起来非常简单，但是理论条条是道的算法。pca解决的问题常常是将n维数据降至k维，目标是找到向量u(1),u(2),...,u(k)u^{(1)},u^{(2)},...,u^{(k)}使得总的投射误差最小。这个算法最大的优点是完全无参限制，不需要人为的设定参数或

2016-08-28 15:50:40 1286

原创 K-means matlab

Choose the value of kRandom initializationFind closest centroidsCompute centroid meansK-meansK-means算法整体的思想比较简单。给定一个数据集，有特征，无标签，可以用K-means算法对数据集分k类。算法首先随机初始化k个中心点，然后重复更新中心点的位置直到收敛；中心点位置的更新过程是

2016-08-28 10:31:44 3210

原创垃圾邮件二分类 NaiveBayes v.s SVM (matlab)

PreprocessReadFileProcessEmailNaiveBayesTrainClassifyExampleSVMTrainClassifyExampleSummary垃圾邮件的二分类问题，比较朴素贝叶斯和SVM的用法。给定一封邮件，由分类器给出这封邮件是（1）否（0）为垃圾邮件（spam）。Preprocess对邮件的预处理。ReadFile首先读入邮件，返回

2016-08-26 13:52:09 5116 6

原创 svm matlab实现库函数的使用

Linear KernelGausian KernelKBFvisualizeBoundarysvmTrainsvmPredictLibrarySummaryLinear Kernel线性核，参数C=1λC=\frac{1}{\lambda}。 CC越大，λ\lambda越小，可能会导致过拟合，高方差； CC越小，λ\lambda越大，可能会导致欠拟合，高偏差。fileName =

2016-08-25 19:47:51 6868

原创神经网络手写识别例子 matlab实现

Model representationLoad data and set parametersVisualize dataTrain parametersRandom initialize ThetaCost FunctionTrainPredictModel representation 作为例子模型，神经网络有三层，一个输入层，一个隐藏层和一个输出层。在手写数字识别中，输入

2016-08-24 00:11:51 8139 4

原创 logistic regression 逻辑回归 matlab实现

Load Data数据格式依旧是每行一个样例，最后一列为标签。fileName = 'xxx.txt';data = load(fileName);m = size(data, 1);n = size(data, 2);X = data(:, 1 : n - 1);y = data(:, n);Plot这里出的图是针对二维情况的。plotData(X, y);hold on;xlabel

2016-08-18 14:21:21 16710 6

原创 Linear Regression 线性回归 matlab实现

Load Data数据形式：每行一个样例，最后一列是标签。 m个样例，n个特征。fileName = 'xxx.txt';data = load(fileName);m = size(data, 1);n = size(data, 2);X = data(:, 1 : n - 1);y = data(:, n);Feature Normalization正规化X，并加入1列的1。[X mu

2016-08-17 18:12:47 5101

原创支持向量机（svm）

SMO算法简单版伪代码：创建一个alpha向量并将其初始化为0向量循环直到收敛（外循环）{ ….对数据集中的每个数据向量（内循环）{ ……..如果该数据向量可以被优化： …………….随机选择另外一个数据向量 ………… …. 同时优化这两个向量 ……..如果两个向量都不能被优化，

2016-08-15 23:34:33 734

原创强化学习和控制

[TOC] 在强化学习中，我们将提供一个奖赏函数，当目标完成的好时，便奖赏；当目标完成的不好时，就惩罚。鞭策算法走一条良好的道路。总的来说，这其实就是负反馈的思想啊！马尔科夫决策过程（MDP）一个Markov decision process是一个元组(S,A,Psa,γ,R)(S, A,{P_{sa}}, \gamma, R)。其中：SS是状态集。比如在自动直升机驾驶中，SS就是直升机的所有可

2016-08-15 15:50:53 5357

原创隐马尔科夫模型（Hidden Markov Models）

马尔科夫模型特定向量的概率计算转移矩阵A的计算隐马尔科夫模型观察序列的概率隐含序列的取值转移矩阵A和输出矩阵B的计算马尔科夫模型给定一个状态集S={s1,s2,s3,...,s|s|}S = \{s_1, s_2, s_3,...,s_{|s|}\}，一个由时间产生的观察向量z⃗ ∈ST\vec{z}\in S^T。比如，一个天气系统的状态有S={sun,cloud,rain}S = \

2016-08-14 20:19:20 1077

渐近自由