dianqinlang9558-CSDN博客

转载分类器性能指标之ROC曲线、AUC值

一roc曲线1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)纵轴：真正类率(true postive rate TPR)灵敏度，Sensit...

2017-08-10 11:42:00 100

转载如何理解似然函数?

作者：Yeung Evan链接：https://www.zhihu.com/question/54082000/answer/145495695来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。在英语语境里，likelihood 和 probability 的日常使用是可以互换的，都表示对机会 (chance) 的同义替代。但在数学中，probabil...

2017-07-04 14:04:00 295

转载 sigmoid函数简介

Sigmoid函数由下列公式定义sigmoid函数是一个良好的阈值函数,连续光滑严格单调关于(0,0.5)中心对称在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。其对x的导数可以用自身表示:可以提高导数的计算速度。转载于...

2017-06-28 17:53:00 298

转载 Hive分析窗口函数

Hive中提供了越来越多的分析函数，用于完成负责的统计分析。今天简单整理一下，以务以后自己快速查询，也给看到的朋友作个参考。分析函数主要用于实现分组内所有和连续累积的统计。一. AVG，MIN，MAX，和SUM 如果不指定ROWS BETWEEN,默认为从起点到当前行; 如果不指定ORDER BY，则将分组内所有值累加; 关键是理解ROWS BET...

2017-06-28 15:44:00 108

转载强大的矩阵奇异值分解(SVD)及其应用

2017-06-16 16:22:00 99

转载数据归一化和两种常用的归一化方法

数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。以下是两种常用的归一化方法：一、min-max标准化（Min-Max Normalizatio...

2017-06-16 16:18:00 180

转载《Python数据分析常用手册》一、NumPy和Pandas篇

一、常用链接：1.Python官网：https://www.python.org/2.各种库的whl离线安装包：http://www.lfd.uci.edu/~gohlke/pythonlibs/#scikit-learn3.数据分析常用库的离线安装包（pip+wheels）（百度云）：http://pan.baidu.com/s/1dEMXbfN密码：bbs2二、...

2017-06-13 11:48:00 71

转载轻松看懂机器学习十大常用算法

通过本篇文章可以对ML的常用算法有个常识性的认识，没有代码，没有复杂的理论推导，就是图解一下，知道这些算法是什么，它们是怎么应用的，例子主要是分类问题。每个算法都看了好几个视频，挑出讲的最清晰明了有趣的，便于科普。以后有时间再对单个算法做深入地解析。今天的算法如下：决策树随机森林算法逻辑回归SVM朴素贝叶斯K最近邻算法K均值算法Adaboost...

2017-05-11 09:59:00 55

转载最详细的《MapReduce框架详解》

开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解had...

2017-05-10 14:36:00 67

转载 hadoop HDFS常用文件操作命令

命令基本格式:hadoop fs -cmd < args >1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件2.puthadoop fs -put < local file > < hdfs file &...

2017-05-05 11:13:00 72

转载大数据框架对比：Hadoop、Storm、Samza、Spark和Flink

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。在之前的文章中，我们曾经介绍过有关大数据系统的常规概念、处理过程，以及各种专门术语，本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处...

2017-05-05 09:27:00 58

转载数据挖掘算法知识图譜

数据挖掘算法知识图譜转载于:https://www.cnblogs.com/swg1124/p/6746985.html

2017-04-22 10:16:00 74

dianqinlang9558的博客