![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据分析与数据挖掘
文章平均质量分 64
Cole~~
这个作者很懒,什么都没留下…
展开
-
数据分析与数据挖掘
biasbias+variance,简单的模型方差小,偏差大(可以用射击环数来理解方差和偏差),同理复杂模型方差大,偏差小。原创 2021-10-15 14:02:01 · 128 阅读 · 0 评论 -
机器学习-5
线性回归回顾:解析解(矩阵),数值解随机,p ,小p-梯度下降(mini-batch)L1正则化对应岭回归,L2对应lasso回归分类评价:混淆矩阵:正例,反例,预测结果,真实情况--查准率,查全率--PR图(调和平均),BEP(1.看曲线能否包出,2.平衡点,在外性能更好)多混淆矩阵(宏)分类模型的评价指标--混淆矩阵,ROC,AUC,KS,Lift,Gain_shy19890510的博客-CSDN博客_lift对于分类模型,常用的指标有混淆矩阵、ROC曲线,AUC原创 2021-10-11 19:17:45 · 371 阅读 · 0 评论 -
大数据分析与数据挖掘-4
笔记(由于之前接触过相关知识,记的笔记相对比较随意,但是关键步骤操作都在)练习• 为什么计算函数极值用梯度下降算法而不直接令 (偏)导数为0求解? 理论上是可以数学方法求解是没问题的。但是实际上有些函数很复杂,导致方程解析解很难求甚至没有解,也并不是所有函数都可以根据导数求出取得0值的点的;我们知道实际问题往往都是很复杂的,能直接被数学解决的问题也不需要计算机了,尤其是当数据量极大时,将数据全部带入计算不切实际,而梯度下降支持对数据分批处理;最重要...原创 2021-10-11 07:30:00 · 572 阅读 · 0 评论 -
大数据分析与数据挖掘-3
目录数据集成与变换简单变换简单变换的作用:box-cox变换时间非平稳序列-时间平稳序列(一阶差分)数据规范化数据白化连续属性离散化属性构造算法的学习方法主成分分析数值规约数据集成与变换简单变换对原始数据进行数学函数变换,如:平方、开方、取对数、差分运算等简单变换的作用:数据范围的拉伸与压缩(图像对比度提升、年收入)非正态-正态分布(开发,取对数,box-cox变换它包括了平方变换(),平方根变换(),对数变换()原创 2021-09-24 14:06:06 · 417 阅读 · 0 评论 -
大数据分析与数据挖掘课堂笔记-2
数据预处理必要性原始数据问题:-数据清洗数据不一致 噪声数据:明显错误,异常值 数据缺失整理数据使其适合数据分析与挖掘工具-数据规约数据清洗1.缺失值处理:1.1舍忽略元组(分类问题中数据标签丢失,重要的数据丢失)一条记录中某些属性缺失,则将该条记录丢弃。忽略属性/字段(非必须的、独立性较低的属性字段)某个属性缺失过多70%以上,这个属性就不要了1.2补使用中心度量值填充:对称分布用均值填充,倾斜分布用中位数填充 使用全局常量填充:0或一些标准值 使用可原创 2021-09-17 11:59:21 · 422 阅读 · 0 评论 -
大数据分析与挖掘笔记-1
课前一些话作业提交及命名规则:大数据分析方法(定义):不是随机分析法(抽样调查)这样的捷径,而是采用所有数据进行分析处理。——《大数据时代》问题在于可能存在一些离群值,脏数据。需要先清洗。数据价值:大数据特点:规模大,速度快(最重要是流动快,实时性高),种类多,价值密度低。大数据基本类型:数据库数据(二维表),数据仓库数据,事务数据(订单),图和网路数据,其他类型数据数据分析的四个层次:描述分析,诊断分析(数据变化的原因),预测分...原创 2021-09-16 22:50:02 · 399 阅读 · 0 评论