机器学习
文章平均质量分 65
walter1990
菜鸟
展开
-
Neural networks and Deep Learning
The main thing that changes when we use a different activation function is that the particular values for the partial derivations.The smoothness of a function means that small changes delta wj原创 2015-10-27 20:28:21 · 667 阅读 · 0 评论 -
基于密度的聚类
Density-based methods:DBSCAN中的几个定义:E邻域:给定对象半径为E内的区域称为该对象的E邻域核心对象:如果给定对象E邻域内的样本点数大于等于MinPts,则称该对象为核心对象直接密度可达:对于样本集合D,如果样本点q在p的E邻域内,并且p为核心对象,那么对象q从对象p直接密度可达密度可达:对于样本集合D,给定一串样本点p1,p2,p3,...原创 2016-01-24 21:25:06 · 7084 阅读 · 0 评论 -
SVM 合页损失函数 导数
Lets use the example of the SVM loss function for a single datapoint:We can differentiate the function with respect to the weights. For example, taking the gradient with respect to Wyi we obtain原创 2016-01-12 13:25:46 · 5315 阅读 · 0 评论 -
雅克比矩阵 海森矩阵 牛顿法
雅可比矩阵是以一阶偏导数以一定方式排列成的矩阵,其行列式称为雅可比行列式。雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近。因此,雅可比矩阵类似于多元函数的导数。海森矩阵是一个以自变量为向量的实值函数的二阶偏导数组成的方块矩阵。此函数如下,f(x1,x2,...,xn)如果f的所有二阶导数都存在,那么f的海森矩阵即:海原创 2016-01-12 17:36:23 · 4307 阅读 · 0 评论 -
欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl原创 2016-02-10 20:31:26 · 281 阅读 · 0 评论 -
Deep Learning Glossary
1.Affine LayerA fully-connected layer in a Neural Network. Affine means that each neuron in the previous layer is connected to each neuron in the current layer. In many ways, this is the "standard"原创 2016-01-29 21:34:47 · 654 阅读 · 0 评论 -
Ridge Lasso Regression
import numpy as npimport pandas as pdimport randomimport matplotlib.pyplot as pltfrom matplotlib.pylab import rcParamsfrom sklearn.linear_model import LinearRegressionrcParams['figure.figsize']原创 2016-01-30 13:12:50 · 870 阅读 · 0 评论 -
AdaBoost
Scouting:Scouting is done by testing the classifiers in the pool using a training set T of N multidimensional data points x.We test and rank all classifiers in the expert pool by charging a co原创 2016-02-10 21:56:09 · 304 阅读 · 0 评论 -
CNN 笔记
A ConvNet is made up of Layers. EveryLayer has a simple API: It transforms an input 3D volume to an output 3D volume with some differentiable function that may or may not have parameters.We use原创 2015-12-31 13:38:02 · 600 阅读 · 0 评论 -
特征抽取与特征选择
特征抽取:特征抽取后的新特征是原来特征的一个映射特征选择:特征选择后的特征是原来特征的一个子集特征抽取的方法主要是通过属性间的关系,如组合不同的属性得到新的属性,这样就改变了原来的特征空间。特征选择的方法是从原始特征数据集中选择出子集,是一种包含关系,没有改变原始的特征空间。特征抽取:PCA和LDA主要有两个类别:信号表示:特征抽取后的特征要能精确地表示样本原创 2016-02-14 10:58:02 · 6996 阅读 · 0 评论 -
Measuring performance of classifiers
Confusion Matrix is a common method for describing the performance of classifiers. It's a simple cross tabulation of predicted classes vs. obsessed classes.Overall Accuracy and Kappa Sta原创 2016-02-24 21:02:32 · 262 阅读 · 0 评论 -
线性代数
1. Vector——Vector Productsinner product or dot product原创 2016-01-26 16:26:55 · 642 阅读 · 0 评论 -
PCA 和 SVD
Quick Summary of PCA:1. Organize data as an m*n matrix, where m is the number of measurement types and n is the number of samples2.Subtract off the mean for each measurement type3. Calculate the原创 2016-02-26 21:20:08 · 446 阅读 · 0 评论 -
决策树和随机森林
三种决策树的剪枝过程算法相同,区别仅是对于当前树的评价标准不同:信息增益(ID3),信息增益率(C4.5),基尼指数(CART)一个属性的信息增益越大,表明属性对样本的熵减少的能力越强。这个属性使得数据由不确定性变为确定性的能力越强。决策树的评价:对于决策树的某叶节点,假定该叶节点包含有样本数目为n,其中第k类的样本数目节点为Nk,k=1,2,3,4...,k评原创 2015-07-27 16:32:14 · 6465 阅读 · 0 评论 -
深度学习计算模型中"门函数"的作用
上面是LSTM的计算公式,那三个Sigmoid作为非线性函数的就是三个门。LSTM是RNN模型,决定t时刻节点的除了当前x(t)外,还有t-1时刻的隐层节点输出h(t-1).这代表了历史信息对当前的影响,所以决定门开关程度的除了当前输入x(t)外,还有h(t-1)。含义很清楚,输入门是用来控制输入i'(t)进出多少或者是否允许进出门的设备;输出门是用来控制t时刻状态值m(t)对外多少是原创 2016-04-24 16:14:05 · 5866 阅读 · 0 评论 -
RNNs
RNNs的目的使用来处理序列数据。在传统的神经网络模型只,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能为力。例如,你要预测句子的下一个单词是什么,一般需要用到前面的单词,因为一个句子只前后单词并不是独立的。RNNs之所有称为循环神经网络,即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并原创 2016-01-26 11:01:56 · 2426 阅读 · 0 评论 -
推荐系统评价指标
准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值,用来评价结果的质量。1.正确率=提取出的正确信息条数/提取出的信息条数2.召回率=提取出的正确信息条数/样本中的信息条数。3.F值=正确率*召回率*2/(正确率+召回率)假设一共有10篇文章,里面4篇是你要找的。根据你某个算法,你认为其中有5篇是你要找的,但是实际上在这5篇里面,只有3篇是真正你要找的。原创 2016-01-07 14:49:52 · 719 阅读 · 0 评论 -
Regularazation and Cross-Validation
Regularization 和 Cross-Validation 是两种最常用来控制过拟合的方法。Cross-Validation是一种用来调节学习模型中Regularization参数标准化方法。我们首先把数据集分成训练数据集和验证数据集。然后我们用不同的正则化参数在验证数据集上计算验证误差。最后,我们选择使得验证误差最小的正则化参数,使用该参数作为我们的学习模型。为了原创 2015-10-16 21:58:32 · 903 阅读 · 0 评论 -
python 实现 Kmeans
import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport scipy.io as sioimport randomimport mathmaps = {}clr = ['blue', 'green', 'yellow','red','black','cyan', 'pink']def c原创 2015-10-21 15:44:12 · 622 阅读 · 0 评论 -
加强学习
import numpy as npfrom scipy import statsimport randomimport matplotlib.pyplot as pltn = 10arms = np.random.randn(n)eps = 0.1def reward(prob): rwd = 0 for i in range(10): if r原创 2015-10-19 23:51:54 · 503 阅读 · 0 评论 -
K-Fold Cross Validation
import datetimeimport pprintimport numpy as npimport pandas as pdfrom pandas.io.data import DataReaderimport pylab as pltimport sklearnfrom sklearn.cross_validation import train_test_split, KF原创 2015-10-17 23:49:59 · 1025 阅读 · 0 评论 -
python 生成测试数据点(带有标签的线性可分和线性不可分)
# -*- coding: utf-8 -*-import numpy as npimport randomN = 10 #生成训练数据的个数# AX=0 相当于matlab中 null(a','r')def null(a, rtol=1e-5): u, s, v = np.linalg.svd(a) rank = (s > rtol*s[0]).sum() r原创 2015-10-14 22:08:58 · 4406 阅读 · 1 评论 -
感知器算法
# -*- coding: utf-8 -*-"""Created on Thu Oct 15 13:58:06 2015@author: Think"""#感知器算法import mkdata as mkimport numpy as npimport matplotlib.pyplot as pltN = 100 #生成测试点的数目def check(item, y,原创 2015-10-15 15:08:52 · 612 阅读 · 0 评论 -
线性回归和梯度下降
# -*- coding: utf-8 -*-import numpy as npimport mkdata as mkimport matplotlib.pyplot as pltimport randomN = 100iterNums = 10000#随机梯度下降def gradientDescent_stochastic(X,y): m,n = X.shape原创 2015-10-15 22:10:15 · 352 阅读 · 0 评论 -
最大熵模型
最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大使然估计。这样最大熵模型的学习问题就转换为具体求解对数似然函数极大化或对偶函数极大化的问题。逻辑斯蒂回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题。IIS试图一次只优化其中一个变量theai,而固定其他变量。这里B(thea|w)是对数似然函原创 2015-07-25 23:33:35 · 434 阅读 · 0 评论 -
Torch 安装过程
安装环境:虚拟机+Ubuntu14.04安装依赖:curl -sk https://raw.githubusercontent.com/torch/ezinstall/master/install-deps| bash安装LuaJIT, LuaRocks并LuaRocks安装Torch 和其他的包git clone https://github.co原创 2015-08-30 18:41:07 · 3900 阅读 · 0 评论 -
EM算法
这篇文章写的太好了。。http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html写的清楚明白,详细。这个过程可以看做是对l(a) 求下界,对于Qi的选择,有多种可能,哪种更好呢?假设thea已经给定,那么l(thea)的值就决定于Qi(zi)和p(xi,zi)了。我们可以通过调整这两个概率让下界不断上升,原创 2015-06-25 16:12:41 · 464 阅读 · 0 评论 -
广义线性模型
普通线性模型:假设主要有以下几点:1.响应变量Y和误差正态性:响应变量Y和误差项服从正态分布,并且误差是一个白噪声过程,因而具有零均值,同方差的特性。2.预测量X和未知参数的非随机性:预测量X具有非随机性,可测不存在测量误差;未知参数认为是未知但不具有随机性的常数。3.主要研究响应变量的均值E[Y]4.连接方式:响应变量E[Y]与预测变量的线性组合。f(x)=x原创 2015-07-16 13:41:30 · 1014 阅读 · 0 评论 -
K-Nearest Neighbors algorithm
from numpy import *import operatorimport matplotlibimport matplotlib.pyplot as pltfrom os import listdirdef createDataSet(): group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels=['A',原创 2015-07-07 19:03:41 · 550 阅读 · 0 评论 -
TF-IDF
tf-idf, short for term frequency-inverse document frequency. The tf-idf value increases proportionally to the number of times a word appears in the document, but is offset by the frequency of the wo原创 2015-11-23 21:18:53 · 340 阅读 · 0 评论 -
余弦定律应用
余弦定律可用来找出相似文章。先从句子入手:句子A:我喜欢看电视,不喜欢看电影句子B:我不喜欢看电视,也不喜欢看电影怎样才能计算上面两句话的相似程度呢?基本思路是:如果这两句话的用词越相似,它们的内容就应该越相似。因此可以从词频入手,计算它们的相似程度。第一步:分词句子A:我/喜欢/看/电视,不/喜欢/看/电影句子B:我/不/喜欢/看/原创 2015-11-23 22:51:28 · 392 阅读 · 0 评论 -
Generative classfiers And Discrimivative
1.生成模型是学习输入x和标签y的联合概率分布,p(x,y).然后通过贝叶斯规则就算p(y|x)来做预测。2.判别模型直接计算后验概率p(y|x).In both the discrete and continuous cases, it is well known that the discriminative analog of naive Bayes is logistic原创 2015-11-08 21:35:35 · 373 阅读 · 0 评论 -
Boosting 和 Gradient Boosting 理解
Boosting主要是一种思想,表示“知错就改”。而Gradient Boosting是在这个思想下的一种函数(也可以说模型)的优化方法,首先将函数(模型)分解为可加的形式(其实所有的函数都是可加的,只是是否好放在这个框架中,以及最终的效果如何)。然后进行m次迭代,通过使得损失函数在梯度上减少,最终得到一个优秀的模型。值得一提的是,每次模型在梯度方向上减少的部分,可以认为是一个“小”或者"弱"的模原创 2016-07-05 11:02:28 · 9598 阅读 · 0 评论