![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
千音qy
这个作者很懒,什么都没留下…
展开
-
Transformer 模型详解(转载)
作者: 龙心尘 时间:2019年1月 出处:https://blog.csdn.net/longxinchen_ml/article/details/86533005 审校:百度NLP、龙心尘 翻译:张驰、毅航、Conrad 原作者:Jay Alammar 原链接:https://...转载 2021-12-21 07:10:59 · 4085 阅读 · 0 评论 -
数据挖掘笔记第六章-挖掘模式-基本概念
一 关联规则二 频繁项集 闭项集和关联规则原创 2021-10-15 20:58:57 · 377 阅读 · 0 评论 -
数据挖掘第二章笔记-基本的数据统计学描述
一 均值1. 一般的均值:如果数值带有权重,则计算权重均值:均值是一般的中心度量,但是它具有缺点。那就是对于极值非常敏感。如何解决这个问题?我们可以采用截尾均值,去掉最高和最低的2%数据点进行均值计算。二 中位数中位数 是很好的中心度量,把数值进行排序,如果是奇数,就是中间的值。如果是偶数个,取中间两个数的均值。中位数的近似值公式:三 众数众数是出现频率最多的数四 中列数中列数是数据中心度量的一个指标。它是数组最大值和最小值得平均数。五 极差..原创 2021-10-14 05:52:07 · 604 阅读 · 0 评论 -
数据挖掘笔记第三章——数据变换与数据离散化
数据离散化是一种数据变换的形式1.数据变换策略概述:2.通过规范化变换数据3.还可以通过分箱,直方图,聚类,决策树和相关分析离散化的方法进行离散化4.概念分层:...原创 2021-10-08 11:42:12 · 426 阅读 · 0 评论 -
数据挖掘第三章笔记——数据归约
数据归约是用来得到数据集的归约表示的,可以用较小的数据集来保持原始数据的完整性。在归约以后的数据集上挖掘会更有效,仍然产生相同的分析结果。1.数据归约策略概述包括维归约,数量规约以及数据压缩。维归约主要考虑减少随机变量或者属性的个数。维归约 的方法包括小波变换,主成成分分析。属性子集选择也是维归约的方法,不相关弱相关或者冗余的属性会被检测或删除。2.小波变换这里暂时没太看懂需要单独一篇写一些理解3.主成成分分析:搜索 K个最能代表数据的N维正交向量。使得原来的属性集的一个..原创 2021-10-08 11:23:07 · 2438 阅读 · 0 评论 -
数据挖掘笔记——数据集成
对来自多个数据存储的数据进行集成。1.实体识别问题数据集成是将来自多个数据源的数据进行合并存放在一个一致的数据存储中。数据集成时涉及到实体识别问题,如何确保一个实体对应不同名字可以最终映射到同一个名字上?2.冗余和相关分析一个属性如果可以由另一个或者 另一组属性导出,那可能这个属性就是冗余的。有些冗余可以被相关分析检测到,对于标称数据可以用卡方检测,对于数值属性可以用相关系数和协方差。1)标称数据的卡方检验2)数值数据的相关系数对于数值数据,计算属性A 和B的相...原创 2021-10-08 08:00:25 · 1461 阅读 · 0 评论 -
数据挖掘笔记——第三章数据清理
数据清理过程包括填补缺失数值,平滑噪声点,纠正数据的一致性。一、缺失数据值1.忽略元组:当缺少类标签时候通常这样做。除非元组有很多属性缺失值不然这个方法不好用。如果选择忽略了该元组那就不能使用元组剩下的属性值。2.人工填写缺失值:费时费力3.用一个全局常量替换所有的缺失值:所有的缺失值用Unkown替换,不是很可靠4.使用属性的中心度量(均值或者中位数)填充缺失值。对于对称的数据来说可以用均值替换;对于倾斜数据可以用中位数。5.使用与给定元组属于同一类的所有样本的属性均值或者中位数。原创 2021-10-08 04:37:49 · 635 阅读 · 0 评论 -
DataMining 第三章数据预处理笔记
一、为什么进行数据预处理?定义数据质量的三大要素是:accuracy, completeness, and consistency.数据的质量取决于你要用数据做什么用途,不同的用途会对数据质量评价的标准不同。记录数据的及时性也会影响到数据的质量。假设在一家商业公司,月末进行销售额统计但是各个部门经理没有及时上报自己部门的销售额,那么在一段时间内这个数据是不精确的。数据的可信度以及可解释性(能不能让人理解)也很重要,是影响数据质量的其他两个因素。二、数据预处理的主要任务1.数据清理是.原创 2021-10-07 23:20:01 · 257 阅读 · 0 评论 -
详解L1、L2、smooth L1三类损失函数
前言深度学习里面有很多的损失函数,对于MSE、MAE损失函数可能已经耳熟能详了了,对于L1、L2正则化也很熟悉,那你知道什么是L1_loss和L2_loss吗,以及在目标检测的系列论文比如fast-RCNN、faster-RCNN中经常出现的smooth L1损失又是什么呢?一、常见的MSE、MAE损失函数1.1 均方误差、平方损失均方误差(MSE)是回归损失函数中最常用的误差,它是预测值与目标值之间差值的平方和,其公式如下所示:下图是均方根误差值的曲线分布,其中最小值为预测值.转载 2021-10-06 21:28:46 · 3023 阅读 · 0 评论 -
Tensorflow读取数据--TFrecord格式
一. 什么是Tfrecord?TFRecords可以允许你讲任意的数据转换为TensorFlow所支持的格式, 这种方法可以使TensorFlow的数据集更容易与网络应用架构相匹配。这种建议的方法就是使用TFRecords文件,TFRecords文件包含了[tf.train.Example 协议内存块(protocol buffer)](协议内存块包含了字段[Features]。你可以写一段代...原创 2019-04-09 21:31:22 · 480 阅读 · 0 评论