Zhang's Wikipedia

玩就玩大的

机器学习概念 —— 样本距离矩阵

样本(XN⋅dXN⋅dX_{N\cdot d})之间的距离矩阵 N, d = X.shape X_square = np.sum(X*X, axis=1).reshape(N, 1) dist_mat = 2*X_square - 2*X.dot(X.T) pj|i=exp(−∥xi−xj∥...

2018-09-08 19:40:28

阅读数:339

评论数:0

特征选择 - Filter、Wrapper、Embedded

Filter methods: information gain chi-square test fisher score correlation coefficient variance threshold Wrapper methods: recursive feature eli...

2018-04-16 23:28:12

阅读数:1811

评论数:0

机器学习分支:active learning、incremental learning、online machine learning

1. Active learningActive learning 是一种特殊形式的半监督机器学习方法,该方法允许交互式地询问用户(或者其他形式的信息源 information source)以获取对新的数据样本的理想输出。Active learning 提供的这种交互机制尤其适用于 unlabe...

2017-05-02 21:44:51

阅读数:2386

评论数:2

Gini 系数与熵的关系

从对数函数的泰勒级数展开,可进一步推出熵与基尼系数的一种近似等价关系。

2017-03-23 11:56:30

阅读数:2568

评论数:0

用决策树模型求解回归问题(regression tree)

How do decision trees for regression work?决策树模型既可以求解分类问题(对应的就是 classification tree),也即对应的目标值是类别型数据,也可以应用于回归预测问题的求解(regression tree),其输出值则可以是连续的实数值。一般...

2017-03-08 12:31:34

阅读数:8501

评论数:1

朴素贝叶斯与垃圾邮件分类

垃圾邮件识别问题,也即对给定样本(包含垃圾邮件,非垃圾邮件)判断是否为垃圾邮件,根据贝叶斯定理

2017-03-04 22:07:57

阅读数:1306

评论数:0

生成式模型(generative) vs 判别式模型(discriminative)

Andrew Ng, On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes无论是生成式模型还是判别式模型,都可作为分类器使用,分类器的数学表达即为:给定输入...

2017-03-04 09:52:29

阅读数:2660

评论数:0

手推机器学习公式(一) —— BP 反向传播算法

方便起见,本文仅以三层的神经网络举例。f(⋅)f(\cdot):表示激励函数 xix_i:表示输入层; yjy_j:表示中间的隐层; yj=f(netj)y_j=f(\text{net}_j) netj=∑i=0nvijxi\text{net}_j=\sum\limits_{i=0}^n v_{...

2017-03-02 19:12:13

阅读数:2630

评论数:3

学习算法收敛条件的判断

看误差:误差(实际输出与期望输出的差的绝对值)小于某个预先设

2017-03-01 18:25:39

阅读数:3662

评论数:0

(单层)感知机学习规则

假设感知器采用的是与阈值转移函数相类似的符号转移函数,其表达式为:f(wTjx)=sgn(wTjx)={1,wTjx≥0−1,wTjx<0 f(w_j^Tx)=\text{sgn}(w_j^Tx)=\left\{ \begin{split} 1,\quad w_j^Tx \geq 0\\ -...

2017-03-01 18:16:23

阅读数:1323

评论数:0

Logistic Regression 的简单推导

1. LR 的基本假设 LR 模型假设观测值 y 成立的对数几率(log-odds)能够表示为 K 重输入变量的线性组合:

2017-01-10 16:52:49

阅读数:797

评论数:0

半监督学习(semi-supervised learning)

自 P(x) 生成的无标签样本; 自 P(x,y) 生成的标记样本;

2017-01-02 21:59:42

阅读数:1688

评论数:0

参数的范数正则/惩罚(parameter norm penalties)

1. L2 范数

2017-01-02 21:45:20

阅读数:2069

评论数:0

计算学习理论、统计学习基础理论

支持向量机是建立在统计学习理论 VC 维理论和结构风险最小化原理基础上的机器学习方法。 1. VC 维理论 2. 结构风险最小化

2016-12-21 23:06:25

阅读数:1113

评论数:0

绝对和相对误差(absolute & relative error)

1. 标量真实值为 xx,测量值为 x0x_0, 绝对误差(absolute error):Δx=x0−x(有单位); 相对误差(relative error):δx=Δxx=x0−xx=x0x−1\delta\; x=\frac{\Delta x 2. 矢量间的误差def rel_er

2016-12-20 17:41:56

阅读数:3125

评论数:0

参数方法(parameter)与非参数方法(nonparameter)

参数方法表示参数固定,不随数据点的变化而变化; 非参数方法并不意味着没有参数,而是说,参数的数目随数据点而变化,1. 非参数方法举例 Nearest-Neighbor:比如一个二分类问题,新来一个测试点,当要计算其所属类别时,需要与全部训练集计算距离; logistic regression

2016-12-11 19:07:36

阅读数:2846

评论数:0

简单推导 PCA

考虑二维数据降低到一维的例子,如下图所示: 最小化投影方差(maximize projected variance):

2016-12-10 21:48:37

阅读数:570

评论数:1

隐变量模型(latent variable model)

连续隐变量模型(continuous latent model)也常常被称为降维(dimensionality reduction) PCA Factor Analysis ICA 连续的情形比离散的情况更有效在信息表示上;

2016-12-10 21:05:03

阅读数:5133

评论数:0

熵、交叉熵、相对熵(KL 散度)意义及其关系

通过交叉熵的定义,连接熵,交叉熵,相对熵;

2016-11-27 17:05:19

阅读数:6226

评论数:0

机器学习实战 Tricks

样本集的简单封装 D = (numpy.random.randn(N, d), numpy.random.randint(low=0, high=2, size=(N, ))) # D[0] ⇒ X # D[1] ⇒ y 1. One Hot Encoder 编码 ...

2016-11-23 17:05:28

阅读数:463

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭