Machine Learning
文章平均质量分 83
AlmostFree
这个作者很懒,什么都没留下…
展开
-
支持向量机(svm)
SMO算法简单版 伪代码: 创建一个alpha向量并将其初始化为0向量 循环直到收敛(外循环){ ….对数据集中的每个数据向量(内循环){ ……..如果该数据向量可以被优化: …………….随机选择另外一个数据向量 ………… …. 同时优化这两个向量 ……..如果两个向量都不能被优化,原创 2016-08-15 23:34:33 · 708 阅读 · 0 评论 -
Neural Networks and Deep Learning CH4
Two caveatsUniversality with one input and one outputMany input variablesExtension beyond sigmoid neurons这一章比较简单,主要证明了为什么神经网络可以计算任意的连续函数。无论这个函数是什么,总存在一个神经网络,对任意的输入xx,可以从网络中得到近似的f(x)f(x)。当函数有多个输入多个输出原创 2016-10-25 15:45:14 · 588 阅读 · 0 评论 -
Neural Networks and Deep Learning CH1
CHAPTER 1 Using neural nets to recognize handwritten digitsPerceptronsSigmoid neuronsThe architecture of neural networksA simple network to classify handwritten digitsLearning with gradient descen原创 2016-10-07 16:23:40 · 689 阅读 · 0 评论 -
Neural Networks and Deep Learning CH6
Introducing convolutional networksLocal receptive fieldsShared weights and biasesPooling layersPut it all togetherConvolutional neural networks in practiceThe code for our convolutional networks原创 2016-11-11 17:17:01 · 768 阅读 · 0 评论 -
Neural Networks and Deep Learning 资料整理
CH1 Using neural nets to recognize handwritten digits1. RNN的wiki:recurrent neural networks2. Cauchy-Schwarz不等式的wiki:Cauchy-Schwarz inequalityCH2 How the backpropagation algor原创 2016-11-12 16:35:49 · 1109 阅读 · 4 评论 -
Theano学习笔记
InstallInstall在ubuntu14.04上安装Theano,两句命令就够了:sudo apt-get install python3-numpy python3-scipy python3-dev python3-pip python3-nose g++ libopenblas-dev gitsudo pip install Theano 没有报错就是安装成功了。continue………原创 2016-11-25 10:20:16 · 262 阅读 · 0 评论 -
Caffe学习笔记
Blobs Layers and Nets anatomy of a Caffe modelBlob storage and communicationImplementation DetailsLayer computation and connectionsNet definition and operationModel formatForward and BackwardLos原创 2016-11-18 10:58:28 · 846 阅读 · 0 评论 -
Tensorflow学习笔记
InstallBasic Usage构建图交互式方法变量MNIST TrainingMNIST DataSoftmaxCNNTensorFlow运作方式InferenceLossTensorBoardInstallUbuntu14.04:#安装pipsudo apt-get install python-pip python-dev #安装tensorflowsudo p原创 2016-11-30 16:13:34 · 7822 阅读 · 0 评论 -
CS229 ProblemSet记录
PS0Gradients and HessiansPositive definite matricesEigenvectors eigenvalues and the spectral theoremPS1Logistic regressionPoisson regression and the exponential familyGaussian discriminant analy原创 2016-12-16 17:02:09 · 4596 阅读 · 7 评论 -
CS231n Module 0
Python Numpy TutorialPythonBasic data typesFunctionsClassesNumpyArraysPython / Numpy TutorialPython这里介绍了python,并举了一个快排的例子,这个快排写的挺好看的。def quicksort(arr): if len(arr) <= 1: return arr原创 2017-01-11 10:31:55 · 543 阅读 · 0 评论 -
论文笔记:MatchNet: Unifying Feature and Metric Learning for Patch-Based Matching
AbstractIntroductionRelated workNetwork architectureTraining and predictionSampling in trainingA two-stage prediction pipelineExperimentsSummaryAbstractMatchNet:一个用来从patches中提取特征的深度卷积网络 + 一个用来比原创 2017-02-08 16:11:11 · 3334 阅读 · 1 评论 -
CS231n Module 1
Image ClassificationIntroductionNearest Neighbor ClassifierK-Nearest Neighbor ClassifierSummaryApplying kNN in practiceLinear ClassificationImage ClassificationIntroduction这个部分介绍了图片识别问题。图片识别问题是将一张原创 2017-01-18 09:47:58 · 325 阅读 · 0 评论 -
windos安装tensorflow
AnacondaCUDATensorflowAnaconda用清华的源下载,由于TensorFlow supports only 64-bit Python 3.5 on Windows.所以载的是Anaconda3-4.2.0-Windows-x86_64.exe版本。 链接:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/CUDA原创 2017-02-17 13:32:38 · 943 阅读 · 0 评论 -
Neural Networks and Deep Learning CH2
Warm up a fast matrix-based approach to computing the output from a neural networkThe two assumptions we need about the cost functionThe Hadamard productBackpropagationThe four fundamental equation原创 2016-10-14 11:23:50 · 805 阅读 · 0 评论 -
NTU深度学习笔记3
Structred Linear ModelStructured Support Vector MachineSequence Labeling ProblemHMMCRFStructured SVMSummaryIntroduction of SVMstructLearning with Hidden InformationGraphical ModelMarkov Logic原创 2016-09-30 10:29:05 · 599 阅读 · 0 评论 -
Neural Networks and Deep Learning CH3
The cross-entropy cost functionIntroducing the cross-entropy cost functionUsing the cross-entropy to classify MNIST digitsWhat does the cross-entropy mean Where does it come fromSoftmaxOverfitting原创 2016-10-21 18:21:01 · 845 阅读 · 0 评论 -
Neural Networks and Deep Learning CH5
The vanishing gradient problemWhats causing the vanishing gradient problem Unstable gradients in deep neural netsWhy the vanishing gradient problem occursThe exploding gradient problemThe unstable原创 2016-11-03 23:57:21 · 585 阅读 · 0 评论 -
Linear Regression 线性回归 matlab实现
Load Data数据形式:每行一个样例,最后一列是标签。 m个样例,n个特征。fileName = 'xxx.txt';data = load(fileName);m = size(data, 1);n = size(data, 2);X = data(:, 1 : n - 1);y = data(:, n);Feature Normalization正规化X,并加入1列的1。[X mu原创 2016-08-17 18:12:47 · 5086 阅读 · 0 评论 -
logistic regression 逻辑回归 matlab实现
Load Data数据格式依旧是每行一个样例,最后一列为标签。fileName = 'xxx.txt';data = load(fileName);m = size(data, 1);n = size(data, 2);X = data(:, 1 : n - 1);y = data(:, n);Plot这里出的图是针对二维情况的。plotData(X, y);hold on;xlabel原创 2016-08-18 14:21:21 · 16638 阅读 · 6 评论 -
梯度检验与高级优化笔记
梯度检验单个实数向量情况高级优化梯度检验反向传播算法很难调试得到正确结果,但却会得到一个看起来很合理的结果。 比如段位错误(Off-by-one error)。例子是for循环中循环mm次,正确应该是for(i=1; i<=m; i++)for (i=1;~i<=m;~i++),有时会写成for(i=1; i<m; i++)for (i=1;~i<m;~i++),这就是缺位错误。 再有是忘记原创 2016-09-09 10:23:57 · 661 阅读 · 0 评论 -
神经网络笔记(Neural Network)
Neural Network modelForward PropagationBackpropagation AlrithmVectorizationLogistic RegressionNeural NetworkForward PropagationBack Propagationsummary给定训练样本集(x(i),y(i))(x^{(i)},y^{(i)}),神经网络定义了原创 2016-09-08 19:59:18 · 1472 阅读 · 0 评论 -
隐马尔科夫模型(Hidden Markov Models)
马尔科夫模型特定向量的概率计算转移矩阵A的计算隐马尔科夫模型观察序列的概率隐含序列的取值转移矩阵A和输出矩阵B的计算马尔科夫模型给定一个状态集S={s1,s2,s3,...,s|s|}S = \{s_1, s_2, s_3,...,s_{|s|}\},一个由时间产生的观察向量z⃗ ∈ST\vec{z}\in S^T。比如,一个天气系统的状态有S={sun,cloud,rain}S = \原创 2016-08-14 20:19:20 · 1048 阅读 · 0 评论 -
强化学习和控制
[TOC] 在强化学习中,我们将提供一个奖赏函数,当目标完成的好时,便奖赏;当目标完成的不好时,就惩罚。鞭策算法走一条良好的道路。总的来说,这其实就是负反馈的思想啊!马尔科夫决策过程(MDP)一个Markov decision process是一个元组(S,A,Psa,γ,R)(S, A,{P_{sa}}, \gamma, R)。其中:SS是状态集。比如在自动直升机驾驶中,SS就是直升机的所有可原创 2016-08-15 15:50:53 · 5283 阅读 · 0 评论 -
线代回顾
Basic Concepts and NotationBasic NotationMatrix MultiplicationOperations and PropertiesThe Identity Matrix and Diagonal MatricesThe TransposeSymmetric MatricesThe TraceNormsLinear Independence原创 2016-09-01 23:48:38 · 893 阅读 · 0 评论 -
K-means matlab
Choose the value of kRandom initializationFind closest centroidsCompute centroid meansK-meansK-means算法整体的思想比较简单。 给定一个数据集,有特征,无标签,可以用K-means算法对数据集分k类。 算法首先随机初始化k个中心点,然后重复更新中心点的位置直到收敛; 中心点位置的更新过程是原创 2016-08-28 10:31:44 · 3173 阅读 · 0 评论 -
TNU深度学习笔记1
What is Machine Learning Deep Learning and Structured LearningNeural Network Basic IdeasBackpropagationTheano DNNDefine functionCompute GradientsSingle NeuronGPU ConfigurationTips for Training原创 2016-09-16 14:54:40 · 1285 阅读 · 0 评论 -
svm matlab实现 库函数的使用
Linear KernelGausian KernelKBFvisualizeBoundarysvmTrainsvmPredictLibrarySummaryLinear Kernel线性核,参数C=1λC=\frac{1}{\lambda}。 CC越大,λ\lambda越小,可能会导致过拟合,高方差; CC越小,λ\lambda越大,可能会导致欠拟合,高偏差。fileName =原创 2016-08-25 19:47:51 · 6847 阅读 · 0 评论 -
神经网络 手写识别例子 matlab实现
Model representationLoad data and set parametersVisualize dataTrain parametersRandom initialize ThetaCost FunctionTrainPredictModel representation 作为例子模型,神经网络有三层,一个输入层,一个隐藏层和一个输出层。 在手写数字识别中,输入原创 2016-08-24 00:11:51 · 8118 阅读 · 4 评论 -
垃圾邮件二分类 NaiveBayes v.s SVM (matlab)
PreprocessReadFileProcessEmailNaiveBayesTrainClassifyExampleSVMTrainClassifyExampleSummary垃圾邮件的二分类问题,比较朴素贝叶斯和SVM的用法。 给定一封邮件,由分类器给出这封邮件是(1)否(0)为垃圾邮件(spam)。Preprocess对邮件的预处理。ReadFile首先读入邮件,返回原创 2016-08-26 13:52:09 · 5060 阅读 · 6 评论 -
TNU深度学习笔记2
Training Recurrent Neural NetworkIntroduction of Structured LearningStructured LearningUnified FrameworkThree ProblemsViterbi AlgorithmTraining Recurrent Neural Network这节课主要讲了怎么训练RNN,用的方法是BPTT(Bac原创 2016-09-23 14:03:40 · 569 阅读 · 0 评论 -
pca matlab
NormalizationSingular value decompositionPcapca是一个借助于matlab的svd函数写起来非常简单,但是理论条条是道的算法。pca解决的问题常常是将n维数据降至k维,目标是找到向量u(1),u(2),...,u(k)u^{(1)},u^{(2)},...,u^{(k)}使得总的投射误差最小。 这个算法最大的优点是完全无参限制,不需要人为的设定参数或原创 2016-08-28 15:50:40 · 1257 阅读 · 0 评论