机器学习
GaryCV
一个专注于python/机器学习/计算机视觉的爱好者。
展开
-
特征工程之特征选择(一)
特征工程之特征选择(一) 在上一讲的数据预处理后,我们可以进行有意义的特征进行选择。1、Filter Method1.1 方差(Variance)选择法方差:在概率学里,方差是衡量随机变量或一组数据的离散程度,值越大,离散程度越大。 那么在数据分析/机器学习中,某个特征的数据的方差值越小,则说明这个值的离散程度很小,变化程度小,因此有很多大概率对target的影响没...原创 2018-08-10 17:22:31 · 807 阅读 · 0 评论 -
特征工程之特征选择(二)
特征工程之特征选择(二)2. Wrapper Method(包装特征选择算法)2.1递归式(或称循环式)特征消除(Recursive Feature Elimination, RFE)1. RFE是一种基于一种机器算法模型如Logistic Regression, SVM等模型进行多轮训练,每次训练都会消除一些特征,然后再从剩下的特征中在重重的训练和消除不中的特征。在这里对特征...原创 2018-08-12 12:54:55 · 1353 阅读 · 0 评论 -
机器学习之广义线性模型(一)
1.1 广义线性模型1.1.1 普通最小二乘法最小二乘法很经常用在线性回归Linear Regression,y^=Xw+by^=Xw+b\hat{y}=Xw+b中,LR是用来拟合一个w=(w1,w2,w3,...)w=(w1,w2,w3,...)w=(w_1, w_2, w_3, ...)的线性模型,而最小二乘法在其中的作用是用来计算预测值和实际值之间的残差平法和,并且使其最小,其中...原创 2018-08-15 12:54:12 · 704 阅读 · 0 评论 -
特征工程之特征选择(三)
特征工程之特征选择(三)3.Embedded3.1 基于L1正则(惩罚项)的特征选择有过一点机器学习基础的同学都知道,将L1正则放置于cost function中,会起到特征选择的作用,它会使某些系数变为0,从而得到稀疏解,也起到一个降维的作用。L1-norm: ∣∣w∣∣1=∑i∣xi∣∣∣w∣∣1=∑i∣xi∣\mid\mid{w}\mid\mid_1=\sum_i\mi...原创 2018-08-13 18:09:41 · 1038 阅读 · 0 评论 -
机器学习之Logistic回归(二)
机器学习之Logistic回归(二)1.1.4 Logistic Regressionlogistic回归,虽然名称里带有“回归”的字样,但实际上是解决分类问题的线性模型,由条件概率P(Y|X)表示(下面以二分类为示例介绍):P(Y|X)表示(下面以二分类为示例介绍):P(Y|X)表示(下面以二分类为示例介绍):P(Y=1|x)=exp(w⋅x)1+exp(w⋅x)(1),P(Y=1...原创 2018-08-18 13:22:06 · 325 阅读 · 0 评论 -
Keras-Tutorial(五)CNN,卷积神经网络
卷积神经网络Convolution Neural Network简答介绍 * CNN是一个模仿人类视觉原理的一个神经网络。 * 与全连接网络相比,CNN可以更大效率的降低参数的数量。 * 与全连接网络相比,CNN可以更好的提取图像的特征。# 导入数据import numpy as npfrom keras.utils import to_categoricalfrom ke...原创 2018-08-28 15:38:31 · 801 阅读 · 0 评论 -
探究余弦距离
探究余弦距离《百面机器学习》笔记余弦相似度可以作分析两个特征向量之间的相似性的一种度量指标。由点积a∗b=∣∣a∣∣∗∣∣b∣∣cosθa*b=||a|| * ||b|| \cos\thetaa∗b=∣∣a∣∣∗∣∣b∣∣cosθ可知两个向量的夹角的余弦值为cosθ=ab∣∣a∣∣2∣∣b∣∣2\cos\theta=\frac{ab}{||a||_2||b||_2}cosθ=∣∣a∣...原创 2018-10-04 15:47:05 · 1595 阅读 · 1 评论