GoodShot的专栏

追赶,超越

大数据中,机器学习和数据挖掘的联系与区别

数据挖掘是从海量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。 数据挖掘中用到了大量的机器学习界提供的数据分析技术和数据库界提供的数据管理技术。 从数据分析的角度来看,数据挖掘与机器学习有很多相似之处,但不同之处也十分明显,例如,数据挖掘并没有机器学习探索人的学习机制这一...

2018-10-16 21:59:55

阅读数 939

评论数 0

正则化方法:防止过拟合,提高泛化能力

本文是《Neural networks and deep learning》概览 中第三章的一部分,讲机器学习/深度学习算法中常用的正则化方法。(本文会不断补充)正则化方法:防止过拟合,提高泛化能力在训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合)。其直...

2018-06-18 22:02:03

阅读数 134

评论数 0

详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解

2018-06-18 12:50:45

阅读数 173

评论数 0

"数据的属性"及“数据的特征”

数据的属性指的是数据的最原始的特征,比如图片的原始像素点,而数据的特征大多指的是属性经过特定的操作的数据,如图片的像素点经过CNN卷积之后得到的特征。广义来说,数据的属性和特征没有区别。...

2018-05-17 11:25:25

阅读数 1665

评论数 0

向量表示,投影,协方差矩阵,PCA

原文:http://blog.csdn.net/songzitea/article/details/18219237引言当面对的数据被抽象为一组向量,那么有必要研究一些向量的数学性质。而这些数学性质将成为PCA的理论基础。理论描述向量运算即:内积。首先,定义两个维数相同的向量的内积为:内积运算将两...

2018-04-15 20:59:57

阅读数 525

评论数 0

PCA的本质----特征值分解

本章总结:(可 与主成分分析(PCA)-最大方差解释  https://blog.csdn.net/goodshot/article/details/79950977 结合理解)从数学的角度,对矩阵的特征值分解进行介绍,介绍了符合条件的矩阵和进行特征值分解(2),通过分析协方差的意义(3),使得原...

2018-04-15 20:59:24

阅读数 233

评论数 0

主成分分析(PCA)-最大方差解释

我阅读了PCA、SVD和LDA。这几个模型相近,却都有自己的特点。本篇打算先介绍PCA,至于他们之间的关系,只能是边学边体会了。PCA以前也叫做Principal factor analysis。1. 问题     真实的训练数据总是存在各种各样的问题:1、 比如拿到一个汽车的样本,里面既有以“千...

2018-04-15 17:20:35

阅读数 657

评论数 0

数据的中心化和标准化

简介: 意义:数据中心化和标准化在回归分析中是取消由于量纲不同、自身变异或者数值相差较大所引起的误差。 原理:数据标准化:是指数值减去均值,再除以标准差; 数据中心化:是指变量减去它的均值。 目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。在回归问题和一些机器学习算...

2018-04-13 10:52:35

阅读数 1017

评论数 0

Softmax回归

Softmax回归Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 vs. k 个二元分类器7 中英文对照8 中文译者简介在本节中,我们介绍Softmax回归模型,该模型...

2018-02-19 18:32:59

阅读数 129

评论数 0

没人说得清深度学习的原理 只是把它当作一个黑箱来使

没人说得清深度学习的原理 只是把它当作一个黑箱来使 人类正在慢慢接近世界的本质——物质只是承载信息模式的载体。人脑之外的器官都只是保障这一使命的给养舰队。自从去年AlphaGo 完虐李世乭,深度学习火了。但似乎没人说得清它的原理,只是把它当作一个黑箱来使。有人说,深度学习就是一个非线性分类器?有人...

2018-02-13 16:53:27

阅读数 725

评论数 0

主成分分析(PCA)原理总结

http://www.cnblogs.com/pinard/p/6239403.html

2018-02-03 19:27:59

阅读数 153

评论数 0

用scikit-learn进行LDA降维

在线性判别分析LDA原理总结中,我们对LDA降维的原理做了总结,这里我们就对scikit-learn中LDA的降维使用做一个总结。 1. 对scikit-learn中LDA类概述     在scikit-learn中, LDA类是sklearn.discriminant_analysi...

2018-02-03 18:31:46

阅读数 408

评论数 0

线性判别分析LDA原理总结

在主成分分析(PCA)原理总结中,我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析(Linear Discriminant Analysis, 以下简称LDA)做一个总结。LDA在模式识别领域(比如人脸识别,舰艇识别等图形图像识别领域)中有非常广泛的应用,因此我们有...

2018-02-03 10:44:28

阅读数 203

评论数 0

训练集(train set) 验证集(validation set) 测试集(test set)

在有监督(supervise)的机器学习中,数据集常被分成2~3个,即:训练集(train set) 验证集(validation set) 测试集(test set)。http://blog.sina.com.cn/s/blog_4d2f6cf201000cjx.html一般需要将样本分成独立的...

2018-01-19 16:42:52

阅读数 142

评论数 0

hadoop学习——Hadoop核心组件

hadoop学习——Hadoop核心组件    下图展示了hadoop生态系统的核心组件。                                     下面来简单介绍各个组件的作用:  HDFS(Hadoop distribute file syst...

2017-11-27 11:16:11

阅读数 689

评论数 0

Hadoop较全面的概述

看到的比较全面的介绍 Hadoop 1.0 和 2.0的区别 软件栈如下图: Hadoop 1.0的内核主要由两部分构成: HDFS  存储大数据的平台,提供可靠性的存储服务(冗余数据,存储)。  MapReduce  构建在H...

2017-11-27 11:14:26

阅读数 211

评论数 0

【机器学习技术】高斯过程初探

【机器学习技术】高斯过程初探   JasonDing 关注 2015.11.13 15:21* 字数 2126 阅读 5064评论 0喜欢 8 概述 高斯过程是基于统计学习理论和贝叶斯理论发展起来的一种机器学习方法,适于处理高维度、小样本和非线性等复杂回归...

2017-11-07 22:59:21

阅读数 496

评论数 0

梯度下降(Gradient Descent)小结

https://blog.csdn.net/GoodShot/article/details/86137783    在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的...

2017-10-22 19:13:23

阅读数 428

评论数 0

LVQ,Learning Vector Quantization,学习向量量化

LVQ,Learning Vector Quantization,学习向量量化 LVQ需要数据样本带有类别标记,学习过程中需要利用这些监督信息来辅助聚类。  接受代标记的数据集D和原型向量个数k,以及初始化的原型向量标记ti,ti∈Y,i=1,2,…,k,学习率参数η∈(0,1)。输出为原...

2017-09-29 22:38:03

阅读数 1474

评论数 0

K-Means聚类算法的原理及实现

K-Means聚类算法的原理及实现【转】 【转】http://www.aboutyun.com/thread-18178-1-1.html 问题导读: 1、如何理解K-Means算法? 2、如何寻找K值及初始质心? 3、如何应用K-Means算法处理数据? K-Me...

2017-09-28 20:59:34

阅读数 860

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭