![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据挖掘
小脑斧123
没有啥可说的
展开
-
初识数据分析与挖掘(python)
目录一、初识数据分析与挖掘1.1 什么是数据分析与挖掘技术?1.2 数据分析与挖掘技术能做什么事情?1.3 数据挖掘的过程二、数据挖掘与Python模块功能介绍2.1 基本模块NumpyPandasScipyscikit-learn2.2 其他常用模块TheanoKerasGensimStatsModels...原创 2018-09-16 20:22:21 · 860 阅读 · 0 评论 -
数据分析与数据挖掘之四大分布三大检验
泊松分布泊松分布是二项分布的一个变形和取极限,它通常被用来描述一段时间内或者一定空间内事件的发生次数的对应概率,用于小概率情况,假定它们满足"泊松分布"的三个条件: (1)小概率事件。 (2)相互独立的,不会互相影响。 (3)事件的发生概率是稳定的。与泊松分布相对的是指数分布, 指数分布对应的是两次事件之间间隔多久的概率,再进一步有一个gamma分布,它对应的是n次事件...原创 2018-09-25 21:54:57 · 5621 阅读 · 0 评论 -
数据分析与挖掘之数据探索与清洗
目录数据探索和准备的步骤1.变量识别2.单变量分析3.双变量分析3.1 类别型与类别型3.2 类别型和连续型4.处理缺失值4.1 为什么需要处理缺失值?4.2 为什么会存在缺失值?4.3 处理缺失值的方法有那些5.检测和处理异常值的方法5.1 异常值的类型有哪些5.2 异常值产生的原因5.3 异常值对整个数据集的影响5.4 怎么检测异...转载 2018-09-19 22:05:24 · 3124 阅读 · 0 评论 -
数据分析与挖掘之手写体识别(KNN算法)
K-近邻算法(KNN)概述 最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来,当测试对象的属性和某个训练对象的属性完全匹配时,便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢,其次就是存在一个测试对象同时与多个训练对象匹配,导致一个训练对象被分到了多个类的问题,基于这些问题呢,就产生了KNN。 KNN是通过测量不同特征值之间的距离进行...原创 2018-09-24 23:25:49 · 2123 阅读 · 0 评论 -
数据分析与挖掘之分类算法
常见的分类算法1、 K-近邻算法(KNN)2、贝叶斯分类器3、决策树4、人工神经网络5、支持向量机(SVM) K-近邻算法(KNN) KNN是通过测量不同特征值之间的距离进行分类。在KNN中,通过计算对象间距离来作为各个对象之间的非相似性指标,避免了对象之间的匹配问题,在这里距离一般使用欧氏距离或曼哈顿距离: 同时,...原创 2018-09-24 00:13:09 · 343 阅读 · 0 评论 -
数据分析与挖掘之数据规约
数据规约三种方法1、维归约(dimensionlity)减少所考虑的随机变量或属性的个数。维归约方法包括小波变换和主成分分析,他们把原始数据变换或投影到较小的空间。属性子集选择是一种维归约方法,其中不相关、弱相关或冗余的属性或维被检测和删除。2、数量归约(numerosity reduction)用替代的、较小的数据表示形式替换原始数据。3、数据压缩(data compress...原创 2018-09-23 23:00:23 · 7150 阅读 · 0 评论 -
数据分析和挖掘之属性构造
属性构造#导入数据import pymysqlimport numpy as npyimport pandas as pdaimport matplotlib.pylab as pylpyl.rcParams['font.sans-serif']=['SimHei'] # 用来正常显示中文标签 pyl.rcParams['axes.unicode_minus']=False...原创 2018-09-23 14:48:54 · 1040 阅读 · 0 评论 -
数据分析与挖掘之数据预处理
目录数据集成简单变换数据规范化—标准化1、离差标准化(归一化)2、Z-score标准化(0-1标准化)3、小数定标规范化数据规范化—离散化1、等宽离散化2、等频率离散化3、优化离散数据集成#数据集成import numpya=numpy.array([[1,5,6],[9,4,3]])b=numpy.array([[6,36,7],[2,3,...原创 2018-09-23 14:47:47 · 2071 阅读 · 0 评论 -
数据分析与挖掘之数据清洗(缺失值、异常值)
一般情况下PIP出现ReadTimeoutError都是因为被GFW给墙了,所以一般遇到这种问题,我们可以选择国内的镜像来解决问题。在Windows下:C:\Users\下新建pip文件夹,在创建pip.ini文件,拷贝下面代码进去,保存。 [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple其实就是把pyth...原创 2018-09-20 22:18:17 · 1544 阅读 · 0 评论