![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
机器学习
宝哥大数据
大数据、机器学习、深度学习
展开
-
Mean Shift(均值漂移)
一、Mean Shift介绍 Mean Shift(均值漂移)是基于密度的非参数聚类算法,其算法思想是假设不同簇类的数据集符合不同的概率密度分布,找到任一样本点密度增大的最快方向(最快方向的含义就是Mean Shift),样本密度高的区域对应于该分布的最大值,这些样本点最终会在局部密度最大值收敛,且收敛到相同局部最大值的点被认为是同一簇类的成员。 Mean Shift在计算机视觉领域的应用...原创 2020-04-12 13:02:15 · 1621 阅读 · 0 评论 -
层次聚类
一、层次聚类 层次聚类(Hierarchical Clustering)通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树。在聚类树中,不同类别的原始数据点是树的最低层,树的顶层是一个聚类的根节点。创建聚类树有自下而上合并和自上而下分裂两种方法Reference09 聚类算法 - 层次聚类 - CF-Tree、BIRCH、CUREhttp://bluewhale.cc/201...原创 2020-04-12 10:59:30 · 904 阅读 · 0 评论 -
DBSCAN-基于密度的聚类
一、DBSCAN算法介绍 DBSCAN(Density-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类方法)是一种基于密度的空间聚类算法可以在有噪音的数据中发现各种形状和各种大小的簇。寻找被低密度区域分离的高密度区域,这些高密度区域就是一个一个的簇,这里的密度指的是一个样本点的领域半径内包含的点的数目可以...原创 2020-04-11 13:23:20 · 1230 阅读 · 0 评论 -
巫术-核函数(Kernel function)
一、线性可分与线性不可分 机器学习算法中,不论是感知机还是支持向量机,在面对非线性问题时,往往都会用到一个名为核函数的技巧。 可以通过核函数将数据提升到高维,是的在低维线性不可分的数据,变成高维的线性可分。1.1、线性可分1.2、线性不可分...原创 2020-04-10 13:12:19 · 268 阅读 · 0 评论 -
K-means的改进
前言k-means算法是数据挖掘十大经典算法之一,已出现了很多的改进或改良算法。例如1、对k的选择可以先用一些算法,分析数据的分布,如重心和密度等,然后选择合适的k。2、有人提出了二分k均值(bisecting k-means)算法,它对初始的k个质心的选择就不太敏感。3、基于图划分的谱聚类算法,能够很好地解决非凸数据的聚类。一、Canopy算法配合初始聚类二、K-means++...原创 2020-04-10 09:41:54 · 9403 阅读 · 0 评论 -
聚类算法-效果衡量
一、SSE1.1、原理 每个簇的点到各自质心的距离之和, 用于衡量簇的松散度。SSE=∑i=1k∑p∈Ci∣∣p−mi∣∣2SSE = \sum_{i=1}^k\sum_{p\in C_i}||p-m_i||^2SSE=i=1∑kp∈Ci∑∣∣p−mi∣∣2二、肘部法(确定K值)步骤:计算k从1到n的的SSESSE会逐渐减小,直到k=n时SSE=0,每个点都是质心在SSE...原创 2020-04-09 23:27:09 · 821 阅读 · 0 评论 -
Gaussian Mixture Model(GMM)
一、GMM的原理二、三、SparkML实现原创 2020-04-03 11:03:19 · 767 阅读 · 0 评论 -
归一化、标准化、正则化
无量纲化 无量纲化使不同规格的数据转换到同一规格。常用的无量纲化方法有标准化和区间缩放法。标准化的前提是特征值服从正态分布,标准化后,其转换成标准正态分布;区间缩放法利用了边界值信息,将特征的取值区间缩放到某个特点的范围,例如[0,1]等。一、标准化标准化的前提是特征值服从正态分布,标准化后,其转换成标准正态分布二、归一化区间缩放法利用了边界值信息,将特征的取值区间缩放到某个特点的范围...原创 2020-04-01 10:52:50 · 705 阅读 · 0 评论 -
降维
一、降维方法介绍降维方法 -简直太全!- 附Python代码(Random Forest、Factor Analysis、corr、PCA、ICA、IOSMA1.1、PCA1.2、因子分析( Factor Analysis )1.3、独立成分分析( Independent Component Analysis, ICA )1.5、SVD...原创 2020-04-01 09:22:03 · 218 阅读 · 0 评论 -
时间序列预测
参考:https://tensorflow.google.cn/tutorials/structured_data/time_series一、时间序列预测1.1、数据集原创 2020-01-10 11:43:03 · 2620 阅读 · 1 评论 -
统计方法三要素:模型+策略+算法
参考:统计方法分析-李航一、模型二、策略三、算法原创 2020-01-02 15:54:07 · 761 阅读 · 0 评论 -
损失函数、代价函数与目标函数
参考:机器学习者都应该知道的五种损失函数!几种常见的损失函数前言: 损失函数、代价函数与目标函数损失函数(Loss Function):是定义在单个样本上的,是指一个样本的误差。代价函数(Cost Function):是定义在整个训练集上的,是所有样本误差的平均,也就是所有损失函数值的平均。目标函数(Object Function):是指最终需要优化的函数,一般来说是经验风险+结构...原创 2019-12-31 17:32:57 · 394 阅读 · 0 评论 -
判别模型与生成模型
参考:统计方法分析-李航前言 机器学习的任务一般就是学习一个模型,生成一个模型。对给定的输入预测相应的输出,这个模型的一般形式为决策函数 : Y = f(X), 或者条件概率分布 P(Y|X)。 一、判别模型1.1、概念二、生成模型...原创 2019-12-31 14:50:11 · 293 阅读 · 0 评论 -
感知机
参考:统计方法分析-李航一、原创 2019-12-31 14:02:37 · 1173 阅读 · 0 评论 -
词嵌入(Word embeddings)
一、将文本表示为数字1.1、独热码1.2、用唯一的数字编码每个单词1.3、词嵌入原创 2019-12-23 17:35:22 · 702 阅读 · 0 评论 -
Spark ML
Spark ML原创 2019-12-23 15:21:23 · 208 阅读 · 0 评论 -
文本分类-IMDB数据集
一、IMDB数据集1.1、下载数据集from __future__ import absolute_import, division, print_functionimport tensorflow as tffrom tensorflow import kerasimport tensorflow_datasets as tfdsimport numpy as np# 加载...原创 2019-12-12 16:45:41 · 1946 阅读 · 0 评论 -
自动微分
一、前言 梯度下降法(Gradient Descendent)是机器学习的核心算法之一,自动微分则是梯度下降法的核心; 梯度下降法用于求损失函数的最优值,梯度下降是通过计算参数与损失函数的梯度并在梯度的方向不断迭代求得极值;但是在机器学习、深度学习中很多求导往往是很复杂的,手动使用链式法则求导很容易出错,借助于计算机也只能是硬编码;这时候就需要借助于自动微分了,求导主要有这么四种:手...原创 2019-12-10 17:32:36 · 297 阅读 · 0 评论 -
TensorFlow学习
一、原创 2019-12-05 17:48:06 · 272 阅读 · 0 评论 -
SVD(奇异值分解)
一、SVD(奇异值分解 Singular Value Decomposition)原创 2019-12-04 17:39:51 · 1280 阅读 · 0 评论 -
PCA(主成分分析)
1.1、主成分分析( Principal Component Analysis, PCA)。 在PCA中,数据从原来的坐标系转换到了新的坐标系,新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向,第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复, 重复次数为原始数据中特征的数目。我们会发现,大部分方差都包含在最前面的几个新坐标轴中。因此,...原创 2019-12-03 16:26:30 · 368 阅读 · 0 评论 -
降维方法介绍
一、常见的降维方法1.1、第一种降维的方法称为主成分分析( Principal Component Analysis, PCA)。 在PCA中,数据从原来的坐标系转换到了新的坐标系,新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向,第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复, 重复次数为原始数据中特征的数目。我们会发现,大部分方...原创 2019-12-03 16:23:22 · 1393 阅读 · 0 评论 -
Spark M构建聚类模型
一、聚类的思想及原理 聚类是一种无监督学习,它与分类的不同,聚类所要求划分的类是未知的。聚类算法的思想就是物以类聚的思想,相同性质的点在空间中表现的较为紧密和接近,主要用于数据探索与异常检测。 聚类分析是一种探索性的分析,在分类的过程中,人们不必事先给出一个分类的标准,它能够从样本数据出发,自动进行分类。聚类分析也有很多方法,使用不同方法往往会得到不同的结论。从实际应用的角度看,聚类分析是...原创 2019-06-04 08:45:01 · 848 阅读 · 0 评论 -
基础统计(Basic Statistics)
一、摘要统计1.1、对于RDD[Vector]类型的列统计信息, Spark MLlib提供了一种名为colStats()的方法, 即摘要统计(Summary statistic)。可以统计每类的最大值、最小值、均值、方差、总数、L1范数、L2范数等。package org.apache.spark.examples.mllibimport org.apache.spark.{SparkC...原创 2019-06-03 23:33:30 · 1650 阅读 · 0 评论 -
朴素贝叶斯决策(Naive Bayes)
1、简单例子引入2、先验概率3、后验概率4、最小错误率决策5、最小风险贝叶斯决策原创 2019-04-23 23:07:57 · 1735 阅读 · 0 评论 -
AdaBoost元算法
AdaBoost元算法1.1、基于数据集多重抽样的分类器 将不同的分类器组合起来, 而这种组合的结果被称为集成方法(ensemble method)或元算法(meta-algorithm)。集成方法的多种形式:不同算法的集成;统一算法不同设置的集成;数据集不同部分分配给不同分类型的集成。 接下来,我们将介绍基于同一种分类器多个不同实例的两种计算方式。在这些方法中,数据集也会不断的变化,而...原创 2019-07-28 23:31:40 · 415 阅读 · 0 评论 -
树回归
CART算法回归与模型树树剪枝算法原创 2019-08-03 09:10:53 · 285 阅读 · 0 评论 -
SVM(支持向量机)
一、理论介绍1.1、基于最大的间隔数据原创 2019-07-27 08:24:30 · 582 阅读 · 0 评论 -
向量-索引变换(VectorIndexer)
VectorIndexer VectorIndexer解决向量数据集中的类别特征索引。它可以自动识别哪些特征是类别型的,并且将原始值转换为类别索引。它的处理流程如下: 1.获得一个向量类型的输入以及maxCategories参数。 2.基于不同特征值的数量来识别哪些特征需要被类别化,其中最多maxCategories个特征需要被类别化。 3.对于每一个类别特征计算0-based(从...原创 2019-05-31 23:32:35 · 1914 阅读 · 0 评论 -
本地矩阵(Local matrix)
由行索引, 列索引, 类型值, 存放在单机中。 def testLocalMatrix() = { // 创建一个稠密矩阵 ((1.0, 2.0), (3.0, 4.0), (5.0, 6.0)) val dm = Matrices.dense(3, 2, Array(1.0, 3.0, 5.0, 2.0, 4.0, 6.0)) prin...翻译 2019-06-03 09:24:48 · 950 阅读 · 0 评论 -
数据质量分析
数据质量分析是数据探索阶段重要一环, 数据不是完美的, 往往存在缺少数据、异常数据,不一致数据、噪声数据等。没有可信的数据,再好的模型性能都不太可能好, “垃圾进,垃圾出”。数据分析方面的分析, 主要包括以下几个方面缺失值异常值不一致的数据错误数据...原创 2019-05-25 10:32:02 · 3475 阅读 · 0 评论 -
KNN
一种分类算法原创 2019-05-01 15:24:16 · 494 阅读 · 0 评论 -
logistic 回归
参考:https://www.cnblogs.com/zy230530/p/6875145.html原创 2019-05-04 21:08:42 · 164 阅读 · 0 评论 -
线性回归python实现
线性回归理论参考https://blog.csdn.net/wuxintdrh/article/details/842875751.1、加载数据# 加载数据集,def loadDataSet(fileName): #general function to parse tab -delimited floats numFeat = len(open(fileName).rea...原创 2019-04-28 23:49:56 · 17691 阅读 · 5 评论 -
升维
1.1、标签, 列名1:值, 列名2:值 …label c1 c2 c31.2、样例数据1 c1:1 c2:2 c3:3-1 c1:5 c2:3 c3:4-1 c1:1 c2:2 c3:41.3 特征特征 值c1:1 1c2:2 2c3:3 3c1:5 4c2:3 5c3:4 61.4、将每个样本在所有维度观察,如果有这个特征,设置为1, 没有这个特...原创 2019-05-04 11:14:17 · 742 阅读 · 0 评论 -
k-means
一、概念介绍1.1、分类根据给定已知类别标签的样本,训练出某种模型,然后对未知类别的样本进行分类,称为supervised learning(监督学习)。1.2、聚类指事先并不知道样本的类别标签,希望通过某种算法来把未知类别的样本划分成若干类,亦称作 unsupervised learning (无监督学习)。1.3、相似性与据类分析 人类认识世界,接受信息有超过80%都是源于视觉图...原创 2019-04-22 21:53:42 · 1423 阅读 · 0 评论 -
机器学习(Macheine Learning)面试知识点
Spark MLlib 机器学习算法及实践原创 2020-05-07 09:44:08 · 943 阅读 · 0 评论 -
FP-Growth
Apriori挑战多次数据库扫描巨大数量的候补项集繁琐的支持度计算改善Apriori: 基本想法 减少扫描数据库的次数 减少候选项集的数量 简化候选项集的支持度计算...原创 2019-05-02 09:13:24 · 795 阅读 · 0 评论 -
神经网络
参考https://blog.csdn.net/illikang/article/details/82019945原创 2019-05-02 08:50:47 · 476 阅读 · 0 评论 -
决策树实现
决策树理论1.1、计算信息熵(经验熵)# 计算给定数据集的熵def calc_shannon_entropy(data_set): # 数据集行数 num_entries = len(data_set) # 类标签 字典 label_counts = {} # 遍历数据集, 记录每个标签的数量 for feat_vec i...原创 2019-04-27 00:01:06 · 620 阅读 · 0 评论