![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
assassin_sword
愿得一人心白首不分离
展开
-
spark学习笔记__chap4_spark基础原理__4.2_SparkContext编程入口
pyspark是Spark的python API,提供了使用python编写并提交大数据处理作业的接口。在pyspark里大致分为5个主要的模块pyspark模块这个模块是最基础的模块,里面实现了最基础的编写Spark作业的API。这个模块里面有以下内容:- Sparkcontext:它是编写Spark程序的主入口- RDD:分布式弹性数据集,是Spark内部中最重要的抽象- Br...原创 2020-03-11 21:34:27 · 321 阅读 · 0 评论 -
fft spectrual analysis: 使用scipy.fftpack.fft进行频谱分析
import osimport syssys.path.append("./package/")import numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as pltclass FFTAcc(object): def __init__(self,d...原创 2019-11-12 10:59:05 · 1682 阅读 · 1 评论 -
numba 笔记
目录numba为Python提速numba能够极大的提高python在计算方面的性能。是不是所有的python代码上,都可以加上numba.jit装饰器?答案是否定的。同时需要特别注意的是,使用jit和使用纯numpy进行编程的很大一点不同就是,不要畏惧用for;事实上一般来说,代码“长得越像 C”、速度就会越快:使用 jit(nogil=True) 实现高效并发(多线程)...原创 2019-07-25 19:12:09 · 1339 阅读 · 0 评论 -
python调用matlab API 汇总(全)
目录启动用于Python的MATLAB引擎运行多个引擎停止引擎使用启动选项启动引擎异步启动引擎通过Python调用MATLAB函数从MATLAB函数返回输出参数从MATLAB函数返回多个输出参数不从MATLAB函数返回任何输出参数停止执行函数Get Help forMATLABFunctions fromPy...原创 2019-07-20 13:51:33 · 46351 阅读 · 4 评论 -
sklearn.tree 中决策树的3种可视化方法
1. StringIO + export_graphviz + 命令行dotfrom sklearn.externals.six import StringIOwith open("iris.dot", 'w') as f: f = export_graphviz(dtc, out_file=f)$ dot -Tps tree.dot -o tree.ps (...原创 2019-07-08 19:57:50 · 7884 阅读 · 1 评论 -
基于图的聚类之-Affinity Propagation(AP)聚类
基于图的聚类之-Affinity Propagation(AP)聚类谱聚类和AP聚类是基于图的两种聚类,在这里我写介绍一下AP聚类,下一篇文章介绍谱聚类。Affinity Propagation Clustering(简称AP算法)是2007提出的,当时发表在Science上《single-exemplar-based》。特别适合高维、多类数据快速聚类,相比传统的聚类算法,该算法算是...转载 2019-05-24 10:13:44 · 11183 阅读 · 3 评论 -
DENCLUE—基于密度分布函数的聚类
原创 2019-05-23 17:42:36 · 6173 阅读 · 1 评论 -
密度聚类 OPTICS:通过点排序识别聚类结构
OPTICS:通过点排序识别聚类结构OPTICS聚类算法原理基础OPTICS聚类算法是基于密度的聚类算法,全称是Ordering points to identify the clustering structure,目标是将空间中的数据按照密度分布进行聚类,其思想和DBSCAN非常类似,但是和DBSCAN不同的是,OPTICS算法可以获得不同密度的聚类,直接说就是经过OPTI...转载 2019-05-23 16:57:38 · 1459 阅读 · 1 评论 -
密度聚类 dbscan
层次聚类方法 n凝聚的层次聚类:自底向上,首先将每个对象作为一个簇,然后 合并这些原子簇为越来越大的簇,直到某个终结条件被满足。 n分裂的层次聚类:自顶向下,它首先将所有对象置于一个簇中,然后逐渐细分为越来越小的簇,直到达到了某个终结条件。 n层次凝聚的代表是AGNES算法。层次分裂的代表是DIANA算法。 ...原创 2019-05-23 16:48:22 · 248 阅读 · 0 评论 -
异常值与缺失值处理 总结及感受
目录1. 异常数据1.1 物理判别法:1.2 统计判别法:1.3 应注意的问题:2. 缺失数据2.1 产生原因:2.2 缺失数据预处理思想1. 保留缺失数据不予处理:2. 直接丢弃含缺失数据的记录,3. 特殊值填充:4. 单一插补5. 多重插补方法(Multiple Imputation)2.3总结1. 异常数据1.1 物理判别法...原创 2019-05-20 20:01:51 · 6847 阅读 · 0 评论 -
马氏距离(Mahalanobis Distance)
马氏距离(Mahalanobis Distance)原文地址www.ph0en1x.space马氏距离(Mahalanobis Distance)是度量学习中一种常用的距离指标,同欧氏距离、曼哈顿距离、汉明距离等一样被用作评定数据之间的相似度指标。但却可以应对高维线性分布的数据中各维度间非独立同分布的问题。什么是马氏距离马氏距离(Mahalanobis Di...转载 2019-05-20 16:09:43 · 6449 阅读 · 1 评论